用Python 建立分散式架構及監控系統:一堂課打造金融大數據戰情室

 授課講師:FinMind團隊
 課程時數:預計8小時
 上線日期:預計3月上線

銷售達標進度
0%
0%

合購瓣法

原價

$6,980

優惠價

$2,980

用Python 建立分散式架構及監控系統:一堂課打造金融大數據戰情室

 授課講師:FinMind團隊
 課程時數:預計8小時
 上線日期:預計3月上線

銷售達標進度
0%

合購辦法

原價

$6,980

優惠價

$2,980
用Python 建立分散式架構及監控系統:一堂課打造金融大數據戰情室
用Python 建立分散式架構及監控系統:一堂課打造金融大數據戰情室
用Python 建立分散式架構及監控系統:一堂課打造金融大數據戰情室
用Python 建立分散式架構及監控系統:一堂課打造金融大數據戰情室

用Python 建立分散式架構及監控系統:一堂課打造金融大數據戰情室

 授課講師:FinMind團隊
 課程時數:預計8小時
 上線日期:預計3月上線

免費提供台股 30 種的歷史資料
( FinMind API Backer 七個月)
 價值約 1000 台幣

銷售達標進度
0%
0%

原價

$6,980

優惠價

$2,980

前100名學員免費提供台股 30 種的歷史資料
(FinMind API Backer 七個月,原價1,043元)

用Python 建立分散式架構及監控系統:一堂課打造金融大數據戰情室

 授課講師:FinMind團隊
 課程時數:預計8小時
 上線日期:預計3月上線

前100名免費提供台股 30 種的歷史資料
( FinMind API Backer 七個月)
 原價1,043元

銷售達標進度
0%
0%

原價

$6,980

優惠價

$2,980

 課程介紹影片

課程介紹影片

課程說明

老師介紹

課程大綱

課前問答(揪團)

常見問題說明

1/27 (四) 前加入
即可參加電子書抽獎(三名)

《Python 大數據專案 X 工程 X 產品 資料工程師的升級攻略》

(原價700元,將於2/9 (二) 抽出)

1/27 (四) 前加入即可參加電子書抽獎(三名)

《Python 大數據專案 X 工程 X 產品 資料工程師的升級攻略》

原價700元,將於2/9 (二) 抽出

 課程介紹影片

 課程說明

隨著資料量級上升及反爬蟲技術的進步,以自動化分散式的進行資料搜集早已成為無可避免的趨勢,我們將帶你打造一站式分散資料搜集監控系統。 學員將學到如何部署分散式爬蟲來大大拓展爬蟲效率,不再受限於單一機器上,並使用關聯式資料庫存放,最後還有完整的監控系統。

使用國外交易所的優勢 

  • 產品多樣
  • 掛單深度夠
  • 交易量大
  • 匯率即時

本課程提供之程式碼的好處 

  • 自動交易伺服器內執行之程式
  • 可區隔對接多個不同策略
  • 可區隔對接不同幣種之交易
  • 僅需自家用電腦保持網路連線即可

 課程特色

  • 解析 GitHub 上擁有超過 1,600 Stars的知名金融大數據開源專案 - FinMind 所使用的關鍵技術。
  • 本課程會提供完整的課程原始碼,只要跟著操作,一定能夠完成。
  • 驗證碼、Google reCAPTCHA 等反爬機制破解
  • 分散式系統 Rabbitmq、Celery 。
  • 開發自己的分散式系統,課程中以爬蟲為例,課程之外也能用來部署自己的應用程式。
  • 透過分散式的方式來加速爬蟲,提升資料收集速度、系統穩定度、並預留未來拓展性,還能減少 IP 被封鎖的情況。
  • 關聯式資料庫-MySQL。
  • 使用 Docker 一鍵架設。
  • 大數據監控系統 Grafana、Promethus、Chatbot。
  • 建立分散式爬蟲,在蒐集資料的同時進行資料檢查,確保資料完整性。
  • 進行大規模爬蟲、資料處理時,有效監控當前進度。
  • 以 Grafana、Promethus,建立 Dashboard 監控儀表板,協助使用者了解資料狀況的同時監測異常,並實時對 Slack、Telegram、Gmail 等發出 Alert
  • 本課程的爬蟲以 FinMind 實務案例進行探討,不同於一般爬蟲課程,會更能貼近業界遇到的真實情況
  • 與其他 Python 爬蟲課程差異性。
  • 本課程著重在分散式架構的建立與維護,除了課程中的案例,課後可以相同的架構使用在各種情境,例如IoT設備、後端、DevOps等應用。
  • 本課程提供了 End to End 的資料蒐集解決方案,讓你清楚明了每一步流程,包含了資料獲取、資料儲存管理、資料監控等。
  • 資料品質與機器監控,這是一般市面上的課程欠缺的部份,但這些技能,在業界一定會用到。但一般人不容易接觸到這塊,所以才想推出本課程,並以 FinMind 為例,彌補市場不足。

 這堂課適合誰

想進一步提升大數據處理能力,
學習爬進階爬蟲(分散式)

想提升工程能力,突破效能瓶頸,
並完成一個 side project。

想要入門 Python 的同學

想要成為資料工程師

設備需求

  • Python 3.6
  • VS code 1.41.1
  • Docker、Docker Compose
  • 建議 Windows 的學員,安裝 WSL,Ubuntu、Mac 的成員則無需安裝。

 老師介紹

FinMind團隊 GitHub 知名台股開源專案 獲得超過 1,600+ stars

林子軒

  • 天瓏暢銷書週排行榜 TOP 1、月排行榜 TOP 1。博客來 7 日暢銷榜 TOP 9。momo 銷售排行 TOP 3
  • 獲聘明新科技大學指定業界專家
  • 17 LIVE 大數據工程師
  • 永豐金證券工程師(shioaji 團隊)
  • Open Up Summit Speaker(2019)
  • Resume 被 Cakeresume 收錄在這篇文章

陳彥辰

  • 資料領域資深專家
  • 現任知名美商半導體公司資料工程師
  • 曾任台灣跨國科技品牌資料科學家

林鼎皓

  • 現任數據新創公司技術長
  • 曾任資策會課程講師

 課程大綱

第一章

Python 爬蟲

  • 1-1:台股證交所、櫃買中心爬蟲
  • a.  股價
  • b. 三大法人
  • c. 融資融券
  • 1-2:台股期交所爬蟲
  • a. 期貨日資料
  • b. 選擇權日資料

第二章

Docker 安裝

  • 2-1:為什麼使用 Docker?
  • 2-2:Docker 介紹
  • 2-3:Docker-Compose 介紹
  • 2-4:Docker Swarm 介紹

第三章

分散式架構

  • 3-1:分散式架構介紹 - Rabbitmq、Flower 
  • 3-2:建置分散式環境
  • 3-3:Python 分散式工具
  • 3-4:Celery 結合爬蟲
  • 3-5:申請免費雲端機器
  • 3-6:雲端部屬 3 台機器,進行實務上的分散式架構
  • 3-6-1:建立爬蟲 Docker Image
  • 3-6-2:在多台機器部屬爬蟲 by Docker
  • 3-6-3:分散式爬蟲展示

第四章

架設資料庫儲存爬蟲資料

  • 4-1:MySQL 資料庫建置
  • 4-2:分散式架構結合資料庫

第五章

架設爬蟲監控系統 - Promethus、Grafana 

  • 5-1:介紹監控系統
  • 5-2:監控系統建置
  • 5-3:監控資料更新日期
  • 5-4:監控每日資料量

作業 - 專案

  • 使用分散式爬蟲成功抓到櫃買中心資料
  • 資料上傳資料庫
  • 設定監控指標

解鎖章節

  • 300%:免費提供 FinMind API Backer 七個月,原價1,043元
  • 600%:提供 Google reCAPTCHA 與常見圖靈驗證碼破解
  • 900%:公開 20~30 支台股金融資料爬蟲程式碼

準備軟體或資源

  • Python 3.6
  • Vscode 1.41.1
  • Docker、Docker Compose
  • 建議 Windows 的學員,安裝 WSL,Ubuntu、Mac 的成員則無需安裝。

買課問答 (揪團來這)

購課問答/ 揪團來這

使用規則

1.找揪團、對於課程內容有疑問想詢問老師或提建議,歡迎留言。

2.內容不得涉及侮辱或具不雅文字,請勿張貼廣告,本平台保留直接刪除不適當留言之權利。

3.揪團者請自行創建並聯繫,本平台不介入干涉或負責。

4.如有看課、發票、退費申請等疑問,請參考官網【常見問題】,或連繫本平台客服信箱。

優惠倒數中!

用Python 建立分散式架構及監控系統:一堂課打造金融大數據戰情室

 猜您會喜歡

沒有程式背景也能學會的Python網路爬蟲 - MasterTalks 內容電力公司
沒有程式背景也能學會的Python網路爬蟲 - MasterTalks 內容電力公司
沒有程式背景也能學會的Python網路爬蟲

沒有程式背景也能學會的Python網路爬蟲

$1,100
Python 金融資訊爬蟲大師班 - MasterTalks 內容電力公司
Python 金融資訊爬蟲大師班 - MasterTalks 內容電力公司

Python 金融資訊爬蟲大師班

$3,940
Python 股票程式交易大師班 - MasterTalks 內容電力公司
Python 股票程式交易大師班 - MasterTalks 內容電力公司

Python 股票程式交易大師班

$3,940
科學化計量選股術 - MasterTalks 內容電力公司
科學化計量選股術 - MasterTalks 內容電力公司

科學化計量選股術

$3,980

 常見問題說明

  • 課程使用問題:請見此連結
  • 我什麼時候可以觀看課程?
    預購期間購買:課程正式上線即可觀看課程,課程上線時會發送開課通知E-mail。
    上線後購買:於購買完成後一個工作日內會開通。