測試 robots.txt 檔案變得更簡單了

2014年7月17日星期四

原文: Testing robots.txt files made easier
作者: Asaph Arnon, Webmaster Tools team

要不要檢索,這可得問 robots.txt。

然而,要建立正確的 robots.txt 檔案並做好維護工作,有時並非易事。雖然大部分網站的 robots.txt 檔案都很好處理 (有的網站甚至根本不需要 robots.txt 檔案),但若要在大型 robots.txt 檔案中找到目前或以前的個別網址封鎖指令,實在有點棘手。為了減輕您的負擔,我們在網站管理員工具中新推出了一款 robots.txt 測試工具

您可以在 網站管理員工具 的 [檢索] 部分找到這款最新測試工具:


您可以在這個工具中查看現有的 robots.txt 檔案,並測試新網址是否能順利接受檢索。為了方便您在無數複雜的指令中鎖定正確目標,決定檢索與否的指令會醒目顯示在畫面上。修正檔案後,您可以再次測試看看有無問題。等您將修改好的檔案上傳到伺服器後,變更才會生效。我們的開發人員網站內有 更多 robots.txt 指令和檔案處理做法的相關資訊

此外,您也可以查看原來的 robots.txt 檔案,瞭解何時 Google 會因為存取問題而無法檢索您的網頁。舉例來說,如果 Googlebot 在讀取 robots.txt 檔案時出現 500 伺服器錯誤,我們通常就會暫停檢索網站。

由於您的網站可能因此出現一些錯誤或警告,建議您再次檢查網站的 robots.txt 檔案。您也可以搭配網站管理員工具的其他功能,例如使用最新的 Google 模擬器工具 來轉譯網站上的重要網頁。假使工具回報有網址遭到封鎖,您可以立即用 robots.txt 測試工具找出封鎖網址的指令,然後對症下藥。以前的 robots.txt 檔案常有封鎖 CSS、JavaScrpt 或行動版內容的問題,現在只要在測試工具中找出有問題的指令,這些問題修正起來都是小事一樁。

我們希望這款最新工具能幫助您輕鬆測試及維護 robots.txt 檔案。如有任何問題,或是需要建立一套完善指令的相關說明,歡迎隨時前往 網站管理員說明論壇 提問!