用 robots.txt 封鎖網站
2012 Sep 03 未分類
誰會想用 robots.txt 封鎖自己的網站呢?
歡迎搜尋引擎來爬都來不及了
話說今天有個合作的設計師來敘談
本來以為網站有什麼問題
他說沒有
是因為上線前 在我這邊放的 demo 網站
被 google 爬到了
以至於客人從 google 上 用他的品牌
找到了 demo 網站
但是 demo 網站並沒有營運
只是放著好看而已
怕客戶的客人搞混
所以叫我下掉
可是我架 demo 網站就是要給之後的客人看的啊
順便報價的時候也可以用
這時候
只好用一些方法把搜尋引擎檔掉了
上網查了一下
發現只要把 網頁的目錄 放入一個
robots.txt
裡面寫
User-agent: *
Disallow: /
就行了
搜尋引擎就不會爬網站內的任何目錄或是內容
當然還有一些高階設定可以配合
這裡就不多說了
請自行 google "robots.txt"
就會找到一堆結果了
0則留言
