Python大數據專案x工程x產品 資料工程師的升級攻略

點閱:3

作者:林子軒著

出版年:2021

出版社:深智數位

出版地:臺北市

格式:PDF,JPG

頁數:390

ISBN:9789860776522

EISBN:9789860776621 PDF

分類:程式設計  SDG9 工業化、創新及基礎建設  

Python 大數據專案 X 工程 X 產品 資料工程師的升級攻略
  本書獨家解析知名大數據專案,FinMind,帶你一窺大數據產品的發展過程,打造專屬個人的大數據 side project、作品、產品。讀完本書,你將學會分散式爬蟲、rabbitmq、api、MySQL 資料庫、壓力測試、docker、CICD、雲端、traefik、redash 視覺化等,本書是一本集大成的作品。

  分享在 Github 獲得 1,500 stars 的大數據 side project,並幫助讀者從 0 開始,打造專屬個人的大數據 side project。

  ●    資料工程
  ○    使用分散式技術,rabbitmq、flower、celery,收集證交所、櫃買中心、期交所等股市資訊。
  ○    使用 docker、fastapi 架設 RESTful API 服務。
  ○    使用 docker swarm 架設分散式服務,包含爬蟲、api、資料庫 MySQL、rabbitmq 等服務。
  ○    使用雲端服務,一個月 5 美金,且免費提供 100 美金額度。
  ○    一站式管理多台分散式機器。
  ●    產品迭代
  ○    單元測試 unit test 介紹,包含爬蟲、api 測試範例。
  ○    使用 CICD 做持續性整合、部屬,並以 gitlab-ci 搭配 API 服務做為範例。
  ●    API 產品上線
  ○    免費網址申請教學,No-IP。
  ○    免費 SSL 憑證教學,Let's Encrypt。
  ○    一站式管理多服務網址,容器化反向代理工具 Traefik。
  ●    業界資料視覺化工具
  ○    使用 Redash 建立個人化、股市分析儀表板。
作者簡介

林子軒

  Sam,目前任職 17 Live 資料工程師。擅長資料工程、資料分析,希望對 Python 社群、大數據領域,提供一份心力。

  經歷
  ●    17 Live 資料工程師。
  ●    曾任職永豐金證券,軟體工程師。
  ●    曾於 Open UP Summit 2019,擔任 Speaker。
  ●    曾任職 tripresso,資料工程師。
  ●    東華研究所,應用數學碩士。

  FinMind
  ●    github.com/FinMind/FinMind
  ●    finmindtrade.com/

  個人 Github
  ●    github.com/linsamtw

  Email
  ●    samlin266118@gmail.com

  如對本書有疑問,歡迎寄信到以上信箱。

  筆者除了本書內容外,Github 上也有寫文章介紹,兩篇 kaggle 競賽經驗,分別是生產線分析、庫存需求預設,如對以上有興趣,也可寄信到以上信箱。
  • A 結論
同書類書籍