用Python 建立分散式架構及監控系統 + FinMind 金融數據資料庫

 授課講師:FinMind團隊
 課程時數:預計8小時
 上線日期:第1-6章已上線

銷售達標進度
0%
0%

合購瓣法

原價

$9,974

優惠價

$6,980

用Python 建立分散式架構及監控系統 + FinMind 金融數據資料庫

 授課講師:FinMind團隊
 課程時數:預計8小時
 上線日期:第1-6章已上線

銷售達標進度
0%

前10名加入者,免費再送半年方案!
(原價499元/月,立刻省5,988元!)

原價

$9,974

優惠價

$6,980
用Python 建立分散式架構及監控系統 + FinMind 金融數據資料庫
用Python 建立分散式架構及監控系統 + FinMind 金融數據資料庫
用Python 建立分散式架構及監控系統 + FinMind 金融數據資料庫

用Python 建立分散式架構及監控系統 + FinMind 金融數據資料庫

 授課講師:FinMind團隊
 課程時數:預計8小時
 上線日期:第1-6章已上線

《公開 20-30 支台股金融資料爬蟲程式碼》解鎖成功!

銷售達標進度
0%
0%

原價

$9,974

優惠價

$6,980

FinMind 以台股為主,提供超過50 種金融相關數據資料,
在Github上獲得1,700+ stars ⠀⠀

用Python 建立分散式架構及監控系統 + FinMind 金融數據資料庫

 授課講師:FinMind團隊
 課程時數:預計8小時
 上線日期:第1-6章已上線

銷售達標進度
0%
0%

原價

$9,974

優惠價

$6,980

 課程介紹影片

課程介紹影片

課程說明

老師介紹

課程大綱

課前問答(揪團)

常見問題說明

FinMind API 可以取得
🎉臺灣、美國、英國、歐洲、日本的金融資料集總覽和技術面資料,包含:匯率、央行利率、原物料市場、美國國債、回測量化工具、繪製k 線圖、儀表板......
🎉期貨、選擇權歷史日成交資訊、逐筆data、三大法人買賣、各卷商買賣,台股相關新聞,台股2019開始的逐筆歷史資料......約2~3億筆。

FinMind API 可以取得
🎉臺灣、美國、英國、歐洲、日本的
金融資料集總覽和技術面資料,
包含:匯率、央行利率、美國國債、
原物料市場、繪製k 線圖、儀表板、
回測量化工具......等。
🎉期貨、選擇權歷史日成交資訊、
逐筆data、三大法人買賣、各卷商買賣,
台股相關新聞,台股2019開始的逐筆歷史資料......約2~3億筆。

 課程介紹影片

 課程說明

隨著資料量級上升及反爬蟲技術的進步,以自動化分散式的進行資料搜集早已成為無可避免的趨勢,我們將帶你打造一站式分散資料搜集監控系統。 學員將學到如何部署分散式爬蟲來大大拓展爬蟲效率,不再受限於單一機器上,並使用關聯式資料庫存放,最後還有完整的監控系統。

使用國外交易所的優勢 

  • 產品多樣
  • 掛單深度夠
  • 交易量大
  • 匯率即時

本課程提供之程式碼的好處 

  • 自動交易伺服器內執行之程式
  • 可區隔對接多個不同策略
  • 可區隔對接不同幣種之交易
  • 僅需自家用電腦保持網路連線即可

 課程特色

  • 解析 GitHub 上擁有超過 1,600 Stars的知名金融大數據開源專案 - FinMind 所使用的關鍵技術。
  • 本課程會提供完整的課程原始碼,只要跟著操作,一定能夠完成。
  • 驗證碼、Google reCAPTCHA 等反爬機制破解
  • 分散式系統 Rabbitmq、Celery 。
  • 開發自己的分散式系統,課程中以爬蟲為例,課程之外也能用來部署自己的應用程式。
  • 透過分散式的方式來加速爬蟲,提升資料收集速度、系統穩定度、並預留未來拓展性,還能減少 IP 被封鎖的情況。
  • 關聯式資料庫-MySQL。
  • 使用 Docker 一鍵架設。
  • 大數據監控系統 Grafana、Promethus、Chatbot。
  • 建立分散式爬蟲,在蒐集資料的同時進行資料檢查,確保資料完整性。
  • 進行大規模爬蟲、資料處理時,有效監控當前進度。
  • 以 Grafana、Promethus,建立 Dashboard 監控儀表板,協助使用者了解資料狀況的同時監測異常,並實時對 Slack、Telegram、Gmail 等發出 Alert
  • 本課程的爬蟲以 FinMind 實務案例進行探討,不同於一般爬蟲課程,會更能貼近業界遇到的真實情況
  • 與其他 Python 爬蟲課程差異性。
  • 本課程著重在分散式架構的建立與維護,除了課程中的案例,課後可以相同的架構使用在各種情境,例如IoT設備、後端、DevOps等應用。
  • 本課程提供了 End to End 的資料蒐集解決方案,讓你清楚明了每一步流程,包含了資料獲取、資料儲存管理、資料監控等。
  • 資料品質與機器監控,這是一般市面上的課程欠缺的部份,但這些技能,在業界一定會用到。但一般人不容易接觸到這塊,所以才想推出本課程,並以 FinMind 為例,彌補市場不足。

 這堂課適合誰

想進一步提升大數據處理能力,
學習爬進階爬蟲(分散式)

想提升工程能力,突破效能瓶頸,
並完成一個 side project。

想要入門 Python 的同學

想要成為資料工程師

設備需求

  • Python 3.6
  • VS code 1.41.1
  • Docker、Docker Compose
  • 建議 Windows 的學員,安裝 WSL,Ubuntu、Mac 的成員則無需安裝。

 老師介紹

FinMind團隊 GitHub 知名台股開源專案 獲得超過 1,600+ stars

林子軒

  • 天瓏暢銷書週排行榜 TOP 1、月排行榜 TOP 1。博客來 7 日暢銷榜 TOP 9。momo 銷售排行 TOP 1
  • 獲聘明新科技大學指定業界專家
  • 17 LIVE 大數據工程師
  • 永豐金證券工程師(shioaji 團隊)
  • Open Up Summit Speaker(2019)
  • Resume 被 Cakeresume 收錄在這篇文章

陳彥辰

  • 資料領域資深專家
  • 現任知名美商半導體公司資料工程師
  • 曾任台灣跨國科技品牌資料科學家

林鼎皓

  • 現任數據新創公司技術長
  • 曾任資策會課程講師

 課程大綱

第一章

Python 爬蟲

  • 第零章:環境設定
  • 1-1 章節介紹
  • 1-2 爬蟲介紹 
  • 1-3 爬蟲 - 台股證交所 
  • 1-4 爬蟲 - 台股櫃買中心 
  • 1-5 爬蟲 - 台股期交所 
  • 1-6 章節回顧

第二章

Docker 安裝

  • 2-1:為什麼使用 Docker?
  • 2-2:Docker 安裝
  • Linux
  • Mac 
  • Windows
  • 2-3 Docker 介紹
  • Dockerfile - image - container
  • Volume
  • Network 
  • 應用實做
  • 2-4 Docker 工具介紹
  • docker compose
  • docker registry
  •  docker swarm 
  • docker portainer

第三章

分散式架構

  • 3-1:為什麼需要分散式
  • 3-2:分散式工具介紹 - Rabbitmq、Flower、Celery 
  • 3-3:建置分散式環境 
  • 3-4:Python 分散式工具 Celery 介紹與實作
  • 3-5: Celery 結合爬蟲 
  • 3-6:MySQL 資料庫建置 
  • 3-7:分散式架構結合資料庫

第四章

雲端部屬,實務上的分散式架構

  • 4-1:為什麼使用雲端
  • 4-2:申請 3 台雲端機器 
  • 4-3:雲端建立 rabbitmq、flower、mysql4 
  • 4-4:建立爬蟲 Docker Image、部屬爬蟲 
  • 4-5 分散式爬蟲展示

第五章

爬蟲監控系統 

  • 5-1:章節介紹
  • 5-2:為什麼需要監控系統 
  • 5-3:監控系統介紹 
  • 5-4:監控系統建置 
  • 5-5 : 章節回顧

作業 - 專案

  • 使用分散式爬蟲成功抓到櫃買中心資料
  • 資料上傳資料庫
  • 設定監控指標

解鎖章節

  • 300%:免費提供 FinMind API Backer 七個月,原價1,043元
  • 600%:提供 Google reCAPTCHA 與常見圖靈驗證碼破解
  • 900%:公開 20~30 支台股金融資料爬蟲程式碼

準備軟體或資源

  • Python 3.6
  • Vscode 1.41.1
  • Docker、Docker Compose
  • 建議 Windows 的學員,安裝 WSL,Ubuntu、Mac 的成員則無需安裝。

買課問答 (揪團來這)

購課問答/ 揪團來這

使用規則

1.找揪團、對於課程內容有疑問想詢問老師或提建議,歡迎留言。

2.內容不得涉及侮辱或具不雅文字,請勿張貼廣告,本平台保留直接刪除不適當留言之權利。

3.揪團者請自行創建並聯繫,本平台不介入干涉或負責。

4.如有看課、發票、退費申請等疑問,請參考官網【常見問題】,或連繫本平台客服信箱。

優惠倒數中!

用Python 建立分散式架構及監控系統
 + Finmind Sponsor半年方案

 猜您會喜歡

 常見問題說明

  • 課程使用問題:請見此連結
  • 我什麼時候可以觀看課程?
    預購期間購買:課程正式上線即可觀看課程,課程上線時會發送開課通知E-mail。
    上線後購買:於購買完成後一個工作日內會開通。