2014年7月17日星期四
原文:
Testing robots.txt files made easier
作者:
Asaph Arnon, Webmaster Tools team
要不要檢索,這可得問 robots.txt。
然而,要建立正確的 robots.txt 檔案並做好維護工作,有時並非易事。雖然大部分網站的 robots.txt 檔案都很好處理 (有的網站甚至根本不需要 robots.txt 檔案),但若要在大型 robots.txt 檔案中找到目前或以前的個別網址封鎖指令,實在有點棘手。為了減輕您的負擔,我們在網站管理員工具中新推出了一款
robots.txt 測試工具
。
您可以在
網站管理員工具
的 [檢索] 部分找到這款最新測試工具:
您可以在這個工具中查看現有的 robots.txt 檔案,並測試新網址是否能順利接受檢索。為了方便您在無數複雜的指令中鎖定正確目標,決定檢索與否的指令會醒目顯示在畫面上。修正檔案後,您可以再次測試看看有無問題。等您將修改好的檔案上傳到伺服器後,變更才會生效。我們的開發人員網站內有
更多 robots.txt 指令和檔案處理做法的相關資訊
。
此外,您也可以查看原來的 robots.txt 檔案,瞭解何時 Google 會因為存取問題而無法檢索您的網頁。舉例來說,如果 Googlebot 在讀取 robots.txt 檔案時出現 500 伺服器錯誤,我們通常就會暫停檢索網站。
由於您的網站可能因此出現一些錯誤或警告,建議您再次檢查網站的 robots.txt 檔案。您也可以搭配網站管理員工具的其他功能,例如使用最新的
Google 模擬器工具
來轉譯網站上的重要網頁。假使工具回報有網址遭到封鎖,您可以立即用 robots.txt 測試工具找出封鎖網址的指令,然後對症下藥。以前的 robots.txt 檔案常有封鎖 CSS、JavaScrpt 或行動版內容的問題,現在只要在測試工具中找出有問題的指令,這些問題修正起來都是小事一樁。
我們希望這款最新工具能幫助您輕鬆測試及維護 robots.txt 檔案。如有任何問題,或是需要建立一套完善指令的相關說明,歡迎隨時前往
網站管理員說明論壇
提問!