用 robots.txt 封鎖網站

未分類
誰會想用 robots.txt 封鎖自己的網站呢?

歡迎搜尋引擎來爬都來不及了



話說今天有個合作的設計師來敘談

本來以為網站有什麼問題



他說沒有

是因為上線前 在我這邊放的 demo 網站

被 google 爬到了



以至於客人從 google 上 用他的品牌

找到了 demo 網站

但是 demo 網站並沒有營運

只是放著好看而已



怕客戶的客人搞混

所以叫我下掉



可是我架 demo 網站就是要給之後的客人看的啊

順便報價的時候也可以用



這時候

只好用一些方法把搜尋引擎檔掉了



上網查了一下

發現只要把 網頁的目錄 放入一個

robots.txt



裡面寫














User-agent: *


Disallow: /





就行了





搜尋引擎就不會爬網站內的任何目錄或是內容


當然還有一些高階設定可以配合





這裡就不多說了


請自行 google "robots.txt"


就會找到一堆結果了