如何避免測試網站被搜尋引擎收錄

之前做案子常發生這種事情







因為開發階段

網站通常都是放在網頁公司

等完成後再轉移

但製作的時候

Google 來爬測試網站

就把頁面收錄了

案子結束以後

網站搬走了

網頁公司的測試網站也沒撤掉

甚至拿來當 demo 網站

導致客戶搜尋自己網站的時候

發現 demo 網站也在搜尋結果中

更好笑的是

排名還比正式網站前面XD

(路老闆以前也發生過這樣的事情)


這種問題要怎麼解決呢?

其實很簡單

在測試網站的網頁 meta 中放 noindex 就行了

或是在 robots.txt 中放
Disallow: /
也可以

問題不在事後補救

問題在於

有的廠商在一開始有放 noindex 或是 Disallow

結果搬家的時候

連 robots.txt 都搬過去

或是 meta 的 noindex 忘記拆掉

結果造成正式網站無法被收錄

更是悲劇


從三個身分跟角度來分析這個事情

1. SEO/行銷業者

接手的時候網站應該都做好了

要做的是

必須確認搜尋引擎是否有收錄正式網站 與 "測試網站"

當然測試網站絕對不能被收錄

但通常客人不懂這個

客人也不會跟你說之前網頁公司的測試網站在哪

所以你只能手動搜尋

路老闆提供一個很簡單的方法

大部分的網站都有關於我們

而且關於我們通常是從測試網站到正式網站的階段 都不太會更改的
(除非客戶真的很閒)

你可以把關於我們那堆廢話隨便擷取一段 貼去Google搜尋

如果有重複的頁面

就知道有幾個 "測試區" 被收錄了


如果沒有也不要太高興

可能是客戶已經修過關於我們了

可以的話還是問問網站開發公司

請他們把測試區刪除 或是加上 noindex 等避免被收錄的 tag

2. 網站開發業者

通常測試區 => 正式區的轉移

都是直接複製貼上 (ftp)

然後就忘記改一些只有在測試區才會有的設定

尤其是 noindex 或是 Disallow 這種表面上看不出來的東西

有的業者是一開始有加 noindex 或是 Disallow

後來忘記拔掉

這比一開始沒加 noindex 或是 Disallow 還要慘

有些好的 framework 可以避免這種問題

好的 framework 不需要整站複製

像 index.php .htaccess robots.txt

這種跟環境有關係的檔案都不會被覆蓋

3. 甲方/網站擁有者

能做的事情不多

只能要求製作廠商確認

或是請 SEO/行銷業者確認

有能力的話就是在案件完成後自行確認

不然就只能找專業人士判斷了