檔惡意的 spider

百度一類的 spider
真的很討人厭

一些很可惡的搜尋引擎的 spider
一次都會開超多連線來掃你的網站
之前跟隨法人放在 Linode 上
幾乎快被搓暴了
CPU 都接近 400%
連帶其他放在 Linode 的網站都動不了...



後來找了一些網路文章
這些 spider 真的是惡名昭彰
隨便找都有一堆文章教你怎麼檔XD

本來改 robot.txt
但是這些 spider 完全無視
只好用 iptables 把這些 spider 的區段都檔起來了

iptables 的設定有點複雜
請看此篇 檔惡意 spider, iptables 設定