JavaScript爬蟲新思路!:從零開始帶你用Node.js打造FB & IG爬蟲專案

點閱:3

其他題名:從零開始帶你用Node.js打造FB & IG爬蟲專案 從0開始帶你用Node.js打造FB & IG爬蟲專案

作者:林鼎淵作

出版年:2021

出版社:博碩文化

出版地:新北市

集叢名:iT邦幫忙鐵人賽

格式:EPUB 版式,PDF,JPG

頁數:420

ISBN:9789864348008

EISBN:9789864348893 EPUB; 9789864348886 PDF

分類:程式設計  SDG9 工業化、創新及基礎建設  

本書內容改編自第12屆 iT 邦幫忙鐵人賽,AI&Data 組佳作網路系列文章──
《行銷廣告、電商小編的武器,FB & IG 爬蟲專案從零開始 》

 你知道 JavaScript 不僅能寫網頁還能夠爬蟲嗎?
 你受夠像機器人般蒐集資料的生活嗎?
 從新手村畢業的朋友想知道一個專案是如何進行的嗎?
 PM 們想知道工程師面對問題時在想什麼嗎?

 想知道這些答案嗎?想知道的話可以全部都給你。
 閱讀吧!我把所有的解答都放在書裡了!

【書籍特色】

從零開始!手把手建置 Mac/Windows 的專案環境

 擋住學習熱情的不是困難的工具,而是屢戰屢敗的環境建置!
 除了 step by step 帶你安裝環境,更讓你掌握每個工具的用途與原理。

循序漸進!每個章節都是一個里程碑

 每個章節都有明確的學習目標,讓讀者在閱讀與實作的過程中成長;
 並透過實務上的議題,培養獨立思考能力。

整合技術!完成屬於自己的爬蟲專案

 從架構上全面著手,提供多種解決問題的思路,打造擴充性強大的系統。
 透過需求訪談,你將發現──只有爬蟲技術是無法完善整個專案的!
 儲存資料的容器、定時執行的排程與爬蟲完成後的通知都是不可或缺的一環。
  Node.js x Selenium x Google Sheets x Schedule x LINE Notify

最後,習得爬蟲技能的你

 1. 向機械化的操作 Say Goodbye ~
 2. 蒐集海量資料不再是苦差事
 3. 比別人擁有更多技能優勢
作者簡介

林鼎淵(Dean Lin)

  待過專業的接案公司、也有獨立接案的經驗,這本書教的是從談需求到真實商業環境的程式開發,可以讓讀者接地氣的學習。

  筆者擁有5年的全端開發經驗,熟悉 Vuetify、Node.js、Laravel 等前後端技術;同時也兼職公司內部伺服器管理與 Gitlab 架設部署等相關任務。

  除了精進工作上的技術外,也會研究新的技術領域;在2019年出於對魔術的愛好, 學習並運用 React Native 開發了能在行動裝置 Android/iOS 運行的魔術 APP。

  在空閒時會與朋友交流 idea,碰上有趣的想法就會研究相關技術並將其寫成 Side Project,像本書的爬蟲技術就是為了幫朋友解決工作遇到的困擾而研究的。

  不僅對技術充滿熱情,更會將自身的經驗分享到部落格上,希望可以幫助遇到相同問題的人:
  medium.com/dean-lin
  • PART 1 先了解專案需求,再思考如何實作
  • 01 需求訪談
  • 02 撰寫需求規格書
  • PART 2 開發前環境介紹& 設定
  • 03 開發前環境介紹&設定
  • PART 3 寫程式所需的基礎常識(Node.js)
  • 04 寫程式時該注意的基本原則
  • 05 認識 Node.js 專案
  • 06 用 Yarn 安裝及控管套件
  • 07 善用「.env」管理環境變數,幫你快速遷移專案
  • 08 在「.gitignore」設定不加入版控的資料
  • PART 4 用 selenium-webdriver 爬蟲網頁資訊
  • 09 爬蟲之前
  • 10 認識 selenium-webdriver,操作所見即所得的爬蟲工具
  • 11 爬蟲第一步,FB 先登入
  • 12 關閉干擾爬蟲的彈窗,取得 FB 粉專追蹤數
  • 13 舉一反三,帶你了解 IG 爬蟲不可忽略的細節
  • 14 合體吧!用一隻程式搞定 FB、IG 爬蟲
  • 15 重構程式碼,減少歷史業障
  • 16 用try-catch 捕獲爬蟲過程發生的錯誤
  • 17 json x 爬蟲 = 瑣事自動化
  • 18 驗證 json 的內容是否符合格式
  • 19 優化爬蟲的小技巧
  • 20 學會爬蟲,之後呢?
  • PART 5 使用 Google Sheets 儲存爬蟲資訊
  • 21 免費儲存資料的好選擇,一起進入省錢起手式
  • 22 了解官方範例在做什麼事
  • 23 你在文件迷路了嗎?用兩個處理 Sheet 的範例帶你攻略官方文件
  • 24 寫入爬蟲資料,告別 Copy & Paste 的日子
  • 25 客戶:「爬蟲資料塞錯位置!」專案被報 Bug 的處理方式
  • 26 客戶:「我希望新資料插在最前面!」如何談需求變更
  • 27 優化格式,滿足客戶需求 & 談使用者體驗
  • PART 6 設定排程自動執行爬蟲程式
  • 28 用Schedule 套件讓爬蟲自己動起來
  • 29 用 pm2 套件來控管 Node.js 排程,背景執行才是王道!
  • 30 今天爬蟲怎麼沒有跑?來試試系統內建的排程吧!
  • PART 7 透過 LINE 回報爬蟲狀況
  • 31 透過 POSTMAN 了解 LINE Notify 如何使用
  • 32 用 axios 發出 LINE 通知
  • 33 整合 LINE 的爬蟲通知,專案大功告成!
同書類書籍