SEO 優化

robots.txt 寫法完整指南:語法、常見錯誤與測試方法

作者:So Marketing 編輯部 13 分鐘閱讀 40 次瀏覽

robots.txt 寫法與測試:檢索規則、Sitemap 及常見錯誤檢查
重點摘要

robots.txt 用來管理檢索程式可存取的網址,但不是讓頁面不出現在搜尋結果的工具。本文根據 Google 官方文件,說明檔案位置、四個指令、規則匹配、六種常見錯誤、伺服器回應碼的影響、AI 檢索程式的處理及測試方法。

robots.txt 是放在網站根目錄的純文字檔,用來告訴搜尋引擎的檢索程式(crawler)哪些網址可以讀取、哪些不應讀取。它的主要用途是管理檢索流量,並不是把頁面「隱藏」於搜尋結果的工具。寫法上只需掌握 User-agent、Disallow、Allow 及 Sitemap 四個指令,但實際出錯的機會很高:一行 Disallow: / 可以令整個網站停止被檢索,而用 robots.txt 去處理「不想被收錄」的頁面,更可能得到相反的結果。

很多中小企網站的 robots.txt 是建站時由系統自動產生,之後從沒有人再看過。換主機、換網站平台、加入網店功能,或者想限制 AI 檢索程式之後,這個小檔案往往成為影響最大的設定之一。本文先說明 robots.txt 的作用與限制,再逐項講解檔案位置、語法與規則匹配方式,然後列出常見錯誤、伺服器回應碼的影響、測試方法及上線前清單。內容主要依據 Google Search Central 的官方文件:robots.txt 簡介、建立 robots.txt 檔案,以及Google 如何解讀 robots.txt 規格。

robots.txt 的作用與限制

根據 Google 的說明,robots.txt 告訴搜尋引擎的檢索程式可以存取網站上的哪些網址,主要用來管理檢索流量,避免伺服器被大量請求拖慢。它亦可以用來避免檢索不重要或相似的頁面,以及管理圖片、影音和資源檔案的檢索。

同樣重要的是,Google 明確指出 robots.txt 不是讓網頁不出現在 Google 搜尋結果的機制。如果要避免頁面出現在搜尋結果,應該使用 noindex、密碼保護或直接移除頁面。原因有兩個:

  • 如果頁面被 robots.txt 封鎖,但其他網頁仍有連結指向它,Google 仍可能在沒有檢索內容的情況下收錄該網址,搜尋結果會顯示網址及連結的錨點文字,但沒有內容摘要。
  • robots.txt 無法強制檢索程式遵守規則,是否遵守由檢索程式自行決定。Google 等主要搜尋引擎會遵守,但不能假設所有程式都會。

還有一個常被忽略的後果:如果某頁同時被 robots.txt 封鎖及設定了 noindex,Google 根本無法讀取頁面,也就看不到 noindex。想令頁面退出搜尋結果,需要先允許檢索,待 Google 讀到 noindex 之後才考慮其他處理。這一點與 canonical 標籤及 301、302 與 410 的選擇是同一個思路:不同工具負責不同問題,不應混用。

檔案位置與格式要求

根據 Google 的說明,robots.txt 有以下基本要求:

  • 檔名必須是 robots.txt,而且一個網站只能有一個。
  • 必須放在網站主機的根目錄,例如 https://www.example.com.hk/robots.txt,不能放在子目錄。
  • 檔案只適用於它所在的通訊協定、主機及連接埠。https://example.com.hk/robots.txt 不適用於 https://m.example.com.hk/ 或 http://example.com.hk/。換言之,網站如有多個子網域,每個子網域都需要自己的 robots.txt。
  • 必須是 UTF-8 編碼的純文字檔(ASCII 亦包含在內)。超出 UTF-8 範圍的字元可能被忽略,令規則失效。
  • Google 對 robots.txt 設有 500 KiB 的大小上限,超出部分會被忽略。

對香港網站來說,最常見的情況是網站同時有 http 與 https、有 www 與沒有 www 的版本。如果這些版本沒有統一轉址,就可能出現幾個內容不同的 robots.txt。建議先處理好版本統一,再檢查每一個仍然回應 200 的主機。

四個指令的寫法

一個 robots.txt 由一個或多個「群組」組成。每個群組以 User-agent 開始,指明規則適用於哪個檢索程式,之後每行寫一條規則。Google 列出的指令如下:

指令作用寫法要點
User-agent指定規則適用的檢索程式每個群組必須有,並放在群組第一行;* 代表所有檢索程式,但 Google 的 AdsBot 系列須單獨指明
Disallow指定不應檢索的目錄或頁面路徑相對於網域根目錄,必須以 / 開頭;目錄要以 / 結尾
Allow指定可以檢索的目錄或頁面可用來覆蓋較大範圍的 Disallow,路徑規則同上
Sitemap指出 Sitemap 的位置選填,可有多條;必須是完整網址,Google 不會自動檢查 http/https 或 www 的其他版本

除 Sitemap 外,其他規則都支援 * 作為萬用字元。# 後面的文字是註解,會被忽略;不符合以上規則的行同樣會被忽略。另外,路徑規則區分大小寫,例如 Disallow: /file.asp 只適用於 /file.asp,不適用於 /FILE.asp。在沒有其他指示的情況下,檢索程式預設可以檢索所有未被 Disallow 封鎖的網址。

以下是一個典型的中小企網站範例,只封鎖後台與內部搜尋結果,並指出 Sitemap 位置:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /admin/public-help.html

Sitemap: https://www.example.com.hk/sitemap.xml

規則如何匹配:三個容易混淆的地方

最具體的規則優先

Google 根據規則路徑的長度,使用最具體的規則。如果多條規則互相衝突(包括涉及萬用字元的情況),Google 會採用限制最少的規則。以上面的範例為例,/admin/public-help.html 同時符合 Disallow: /admin/ 與 Allow: /admin/public-help.html,後者路徑較長,所以該頁面可以被檢索。

萬用字元 * 與 $

Google 及其他主要搜尋引擎支援有限度的萬用字元:* 代表零個或以上的任何有效字元,$ 代表網址結尾。例如 Disallow: /*?sort= 可以封鎖帶排序參數的網址,Disallow: /*.pdf$ 則只封鎖以 .pdf 結尾的網址。使用萬用字元前,請先用實際網址逐一核對,因為 * 的範圍很容易比預期廣。

一個檢索程式只會採用一個群組

Google 的檢索程式只會選用最符合自己名稱的那一個群組,其餘群組一概忽略。群組的先後次序沒有影響。如果同一個檢索程式有多個群組,規則會合併成一組。需要特別留意的是:指名群組(例如 Googlebot)與 * 群組不會合併。如果你為 Googlebot 另設群組,* 群組中的規則就不再適用於 Googlebot,必須在指名群組內重複寫上需要的規則。

香港網站最常見的六種錯誤

  1. 測試期的 Disallow: / 沒有拿走。網站建置期間為了防止被收錄而封鎖整個網站,上線後忘記移除,是最常見也最嚴重的錯誤。表現是新頁面長期不被檢索,Search Console 出現「被 robots.txt 封鎖」的提示。
  2. 用 robots.txt 處理「不想被搜尋到」的頁面。如前文所述,被封鎖的網址仍可能被收錄,並且 Google 讀不到頁面上的 noindex。敏感資料應該用登入、密碼或伺服器權限保護,而不是只靠 robots.txt。
  3. 封鎖 CSS、JavaScript 或圖片資源。檢索程式需要讀取這些資源,才能理解頁面如何顯示。如果主題或外掛的資源目錄被封鎖,頁面渲染可能不完整,詳情可參考 JavaScript 渲染問題。
  4. 路徑寫法錯誤。忘記以 / 開頭、目錄沒有以 / 結尾、大小寫不符,或者把整個網址(含 https://)寫進 Disallow,都會令規則無效或範圍不如預期。
  5. 指名群組與 * 群組互相覆蓋。為某個檢索程式新增群組後,原本在 * 群組內的限制就不再適用於它,造成封鎖失效。
  6. 搬網站後沒有更新。Sitemap 行仍然指向舊網域、整個舊網站的限制被帶到新網站,或者新網站的 robots.txt 被舊系統覆蓋。搬站時請把 robots.txt 列入 搬站檢查清單。

伺服器回應碼對 robots.txt 的影響

robots.txt 本身無法讀取時,Google 的處理方式取決於伺服器回應碼。這部分直接影響網站會不會被意外停止檢索:

回應情況Google 的處理方式
2xx 成功按檔案內容處理
3xx 轉址最多跟隨至少五次轉址;超過後視同 404。不跟隨 JavaScript、meta refresh 等邏輯轉址
4xx 用戶端錯誤(429 除外)視為沒有 robots.txt,即沒有任何檢索限制。不應以 401 或 403 來限制檢索速度
5xx 伺服器錯誤首 12 小時暫停檢索該網站並持續重試;之後最多 30 天沿用最後一個可用版本;超過 30 天仍未恢復,若網站整體可存取則當作沒有 robots.txt,否則停止檢索
DNS、逾時及連線中斷視為伺服器錯誤處理

實務上有兩點值得留意。第一,網站維護或搬遷期間如果令 robots.txt 回應 5xx,Google 會暫停檢索整個網站,所以維護頁面應確保 robots.txt 能正常回應,或把停機時間縮到最短。第二,Google 一般會把 robots.txt 的內容快取最多 24 小時,修改後不會立即生效,測試規則時要預留時間。

AI 檢索程式與 robots.txt

隨著 ChatGPT、Claude、Perplexity 等 AI 工具普及,很多網站管理員希望在 robots.txt 中處理 AI 檢索程式。寫法與一般檢索程式相同,就是為對應的 User-agent 名稱設定群組。需要先分清楚目的:

  • 想被 AI 搜尋引用:不要封鎖對應的檢索程式,並確保重要頁面可以被讀取。這也是 GEO 的基本條件。
  • 不想內容用作模型訓練:可以針對指明的檢索程式設定 Disallow,但應先確認各公司最新的官方說明,因為名稱與用途分類會不時調整。
  • 不要一刀切封鎖所有未知程式:過度封鎖可能令網站同時失去 AI 搜尋的曝光機會。

各主要 AI 檢索程式的名稱、用途及建議設定,已在AI 爬蟲權限設定另文說明;llms.txt 則是另一個獨立的做法,兩者不能互相取代。

網店與 CMS 網站的實際考慮

多數 CMS 及網店平台都會自動產生預設的 robots.txt,內容因平台及外掛而異,也可能被 SEO 外掛、安全外掛或主機商的設定覆蓋。建議不要假設預設值一定合適,而是逐行核對。以下是香港中小企網站較常遇到的情況:

  • 網店的篩選、排序及內部搜尋:這些功能可以產生數以千計的網址組合。可以用 Disallow 配合萬用字元減少檢索,但同時要確認真正有搜尋需求的分類頁沒有被誤封,詳細取捨可參考篩選與 facet 網址一文。
  • 購物車、結帳及會員頁面:這類頁面沒有搜尋價值,通常適合封鎖檢索,同時要由網站權限確保私人資料不會被公開。
  • 測試及預覽環境:測試網域應使用登入保護,而不是只靠 robots.txt;否則一旦連結外洩,網址仍可能被收錄。上線時亦要確認不會把測試環境的 robots.txt 一併帶到正式網站。
  • 多語言網站:中、英文版本如果放在不同子網域,每個子網域都需要自己的 robots.txt;放在同一網域的子目錄,則共用同一個檔案,語言版本之間的關係應由 hreflang 處理,而不是 robots.txt。
  • 圖片及 PDF 檔案:如果希望產品圖片出現在圖片搜尋,就不應封鎖圖片目錄;內部文件則應放在需要登入的位置,不應只靠封鎖檢索來保密。

最後一個習慣值得建立:每次網站改版、轉換平台或安裝大型外掛之後,都重新檢查一次 robots.txt。這個檔案體積很小,檢查只需幾分鐘,但出錯的代價可能是整個網站數星期不被檢索,遠比定期檢查的成本高。

怎樣測試 robots.txt

  1. 直接開啟檔案:用瀏覽器訪問 https://你的網域/robots.txt,確認回應 200、內容是純文字,而且是你預期的版本。
  2. 檢查回應碼及轉址:用命令列工具或瀏覽器開發者工具檢查,確認沒有經過多重轉址。
  3. 用 Search Console 檢視:在 Search Console 可以查看 Google 最近取得的 robots.txt 版本及解析是否有問題。介面名稱可能隨更新調整。
  4. 抽樣驗證網址:選取首頁、一個服務頁、一篇文章、後台網址及帶參數的網址,逐一確認它們被允許或封鎖的結果符合預期。
  5. 用網址審查工具核對:對重要頁面使用網址審查,確認沒有「被 robots.txt 封鎖」的提示。
  6. 修改後留意快取:預留至少一日,之後再檢查 Search Console 的涵蓋範圍報告。

上線前 robots.txt 檢查清單

  1. 檔案位於根目錄,網址為 /robots.txt,回應 200?
  2. 所有仍然回應 200 的網站版本(http、https、www、子網域)是否都已核對?
  3. 是否沒有測試期遺留的 Disallow: /?
  4. 後台、內部搜尋、購物車及結帳頁是否按需要封鎖,而重要的服務頁、文章及分類頁沒有被誤封?
  5. CSS、JavaScript 及圖片資源是否可被檢索?
  6. 指名群組內是否重複了需要的 * 群組規則?
  7. Sitemap 行是否使用完整、正確的網址?
  8. 檔案是否為 UTF-8 純文字,大小遠低於 500 KiB?
  9. 想排除出搜尋結果的頁面,是否已改用 noindex 或權限保護,而不是只用 Disallow?
  10. 是否有紀錄每次修改的日期與原因,方便日後回溯?

常見情況的快速判斷

情況建議做法
後台及登入頁不想被檢索用 Disallow 減少檢索,並以登入權限保護內容
內部搜尋結果頁產生大量網址用 Disallow 管理檢索流量,另需配合 篩選與 facet 網址的整體處理
某頁不想出現在 Google允許檢索並設定 noindex,不要同時封鎖
舊頁面已刪除用 301 或 410 處理,不要靠 robots.txt
想控制 Sitemap 發現在 robots.txt 加入完整的 Sitemap 網址,並參考 sitemap.xml 的劃分方式
剛換網站平台搬站當日即檢查 robots.txt,確認沒有沿用測試設定

下一步

如果你不確定自己網站的 robots.txt 是否有問題,可以先做三件事:直接開啟 robots.txt 看一遍有沒有 Disallow: /;在 Search Console 查看有沒有重要頁面被 robots.txt 封鎖;再用 SEO 檢查工具掃描首頁,核對基本設定。如需全站技術審核,So Marketing 的SEO 優化服務包括 robots.txt、Sitemap、轉址及 canonical 的檢查,亦歡迎聯絡我們索取檢查建議。

資料來源:Google Search Central〈Robots.txt Introduction and Guide〉、〈Create and Submit a robots.txt File〉、〈How Google Interprets the robots.txt Specification〉。文中網址只作示範。Search Console 介面名稱可能隨更新調整。最後更新:2026 年 11 月。

常見問題

不可以。Google 指出 robots.txt 不是讓網頁不出現在搜尋結果的機制;被封鎖的網址如有其他頁面連結,仍可能被收錄,只是沒有內容摘要。要讓頁面退出搜尋結果,應使用 noindex、密碼保護或移除頁面,而且 noindex 的頁面不可以同時被 robots.txt 封鎖,否則 Google 讀不到該標記。

必須放在網站主機的根目錄,例如 https://www.example.com.hk/robots.txt,檔名必須是 robots.txt,並使用 UTF-8 編碼。檔案只適用於它所在的通訊協定、主機及連接埠,所以子網域及 http 與 https 版本各自需要檔案。

Google 使用最具體的規則,即路徑較長的規則;如規則互相衝突,則採用限制最少的規則。例如 Disallow: /admin/ 與 Allow: /admin/help.html 同時存在,help.html 可以被檢索。

Google 在最初 12 小時會暫停檢索該網站並持續重試;之後最多 30 天沿用最後一個可用版本;超過 30 天仍未恢復,若網站整體可存取,會當作沒有 robots.txt。4xx 錯誤(429 除外)則視為沒有 robots.txt,即沒有任何檢索限制。

視乎目的。想被 AI 搜尋引用,就不應封鎖相關檢索程式;不想內容用作模型訓練,可針對指明的程式設定,但應先核對各公司最新的官方說明。robots.txt 靠檢索程式自行遵守,不是強制措施。

Google 一般會把 robots.txt 快取最多 24 小時,伺服器逾時或出錯時可能更長,所以修改後不會立即生效。建議預留至少一日,再用 Search Console 及網址審查工具核對。

robots.txt 技術 SEO 檢索管理 AI 爬蟲 Search Console

想知道你的網站值幾錢?

用我們的免費報價計算機,60 秒得到完整費用明細與預估工期。

免費計算網頁設計報價 了解SEO 搜尋引擎優化服務

相關文章

快取同 CDN 設定:香港站要唔要 CDN

快取同 CDN 設定:香港站要唔要 CDN

一篇為香港企業而寫的CDN 香港深度指南:先定義範圍,再小型測試,最後用按香港及海外節點看 TTFB、cache hit 及更新延遲判斷。適…

分頁與無限捲動嘅 SEO 處理

分頁與無限捲動嘅 SEO 處理

分頁 SEO應該點揀、點做、點驗收?本文以「示範列表頁最佳做法」切入,逐項說明page URL、可爬連結及canonical,不虛構客戶數據…

WhatsApp 查詢