

檔惡意的 spider
2012 Nov 13 未分類
百度一類的 spider
真的很討人厭
一些很可惡的搜尋引擎的 spider
一次都會開超多連線來掃你的網站
之前跟隨法人放在 Linode 上
幾乎快被搓暴了
CPU 都接近 400%
連帶其他放在 Linode 的網站都動不了...
後來找了一些網路文章
這些 spider 真的是惡名昭彰
隨便找都有一堆文章教你怎麼檔XD
本來改 robot.txt
但是這些 spider 完全無視
只好用 iptables 把這些 spider 的區段都檔起來了
iptables 的設定有點複雜
請看此篇 檔惡意 spider, iptables 設定
真的很討人厭
一些很可惡的搜尋引擎的 spider
一次都會開超多連線來掃你的網站
之前跟隨法人放在 Linode 上
幾乎快被搓暴了
CPU 都接近 400%
連帶其他放在 Linode 的網站都動不了...
後來找了一些網路文章
這些 spider 真的是惡名昭彰
隨便找都有一堆文章教你怎麼檔XD
本來改 robot.txt
但是這些 spider 完全無視
只好用 iptables 把這些 spider 的區段都檔起來了
iptables 的設定有點複雜
請看此篇 檔惡意 spider, iptables 設定