爬蟲(crawler)是什麼? 爬蟲的運作原理

最近常常看到 fb 廣告

開課教別人寫爬蟲

然後自己做金融的服務

能夠用別人的資料來做自己的金融模型

當然是很好

但什麼是爬蟲?





爬蟲是一種程式

簡單說就是瀏覽器

只是一般瀏覽器需要把網頁敘述(hml)變成網頁內容 (文字/圖片)

爬蟲不需要顯示內容

只要把需要的內容解析出來

 

例如Google就有爬蟲

會來爬你的網頁

然後索引你的內容

提供大家去搜尋引擎查詢

 

那金融的爬蟲

主要是去各大揭露商品報價的網站

爬取交易的數值

存在自己的資料庫中

再用自己的算式去算各種數據指標

 

聽起來爬蟲很厲害

只要會寫爬蟲程式 就可以上網爬各式各樣的資料

然後自己存起來

分析分析 又可以拿出去賣錢

真棒

那寫爬蟲爬人家的資料 都不會有什麼問題嗎?

有

問題一堆

 

著作權/版權問題

如果你爬的是人家彙整過的資料

理論上都有這類的問題

要是被發現你未經許可 爬人家的資料

重製販售

對方"應該"可以採取法律行動

不是沒被告 只是人家還在養大魚

這類的法律問題我是外行人

我們請方道樞律師特別撰文說明XD

 

授權/經營問題

既然沒有得到別人的授權

人家就算不告你 也可以整你

只要人家天天改格式 或是知道爬蟲的IP/行為

把你的爬蟲封了

你就沒搞頭了

看過這個介面吧?

這個就是 Google 做來檔機器人(爬蟲)的工具

Google Recaptcha



爬蟲可不會去點 "我不是機器人"

就算去點

Google Recaptcha 也會出現機器人難以辨識的圖片



跟 Google 鬥智簡直找死

一開始你的資料源可能讓你爬

把你養大

等你大了 賺錢了

再來收割 斷掉你的資料

等你無法跟客戶交代 再出手跟你要錢

 

爬蟲不是永遠可靠有效/有用

如同上述問題

也許資料源不是故意要封鎖你

他只是改版一下

你的爬蟲可能就因為網頁的格式變更

得重新寫

有可能是小改

但也有可能是大改

如果你沒有自己的團隊

是很難持續維護 或是應付這種突發情況

 

我手上有個服務叫做 seo-rank.tw

是拿來爬關鍵字排名的

之前也是爬 Google 的搜尋結果

通常都是等客戶反應沒排名

我才知道爬蟲掛了

每當掛了

我就得熬夜修改程式

因為客戶不能一天沒有排名

我自己是工程師 所以我能自己改

如果你的服務有爬蟲 又沒有工程師

那你就死定了

後來我發現網路上有資訊源

而且是花錢就可以解決

我直接就串對方API

把爬蟲都收了

因為維護爬蟲實在是太累了

 

結論

爬蟲對初期創業來說可能是個機會

但如果有一定的規模 有賺錢後

最好還是弄個付費可靠的資料源

不然這種生意是不會長久的