stock.lupopi.com 搬移計畫
2014 Jan 18 未分類
雖然一直都沒有時間去新增功能
不過資料抓了一陣子
也不太想隨便就放棄
只是抓了兩三年的資料
也抓了40G有吧= =
VPS 也快報炸了
只好搬到硬碟成本比較低的美國主機
可是美國主機爬資料又很慢
還沒爬完 今天就過了(隔天就爬不到資料了)
只好再出動 Raspberry Pi 了
打算把爬資料的部份
交給 Raspberry Pi 來做
等爬完了 再透過 Remote API 把資料寫回去
讀寫時間可能會延長
但是抓取的時間可以縮短
如果爬不完的話
也可以打算用多個 thread / 或是多台 Pi 去爬
希望一個六日假期可以把它做完囉
0則留言