設定 AI 檢索程式的 robots.txt 權限,關鍵是先分清楚「訓練」、「搜尋索引」及「用戶觸發」三種用途,因為各公司把它們分給不同的程式,而且可以獨立設定。以 OpenAI 為例,OAI-SearchBot 用於 ChatGPT 的搜尋功能,GPTBot 可能用於訓練模型,兩者可獨立管理;Anthropic 與 Perplexity 亦各有類似的分工。想被 AI 搜尋引用,就不應封鎖搜尋用途的程式;不想內容用作模型訓練,可只針對訓練用途的程式設定。同時要留意,由用戶觸發的程式未必受 robots.txt 約束。
過去一兩年,不少網站管理員因為擔心內容被 AI 使用,一次過把所有 AI 程式封鎖,結果同時失去在 AI 搜尋中被引用的機會;也有管理員完全不處理,之後才發現伺服器被大量請求拖慢,或內容出現在不希望出現的地方。實際上,各 AI 公司的程式名稱、用途及遵守規則的方式並不相同,而且會不時調整,所以較穩妥的做法是以官方說明為準,按業務目標逐項決定。本文整理 OpenAI、Anthropic、Perplexity 及 Google 目前公開的資料,說明三類用途的分別、各程式的設定方法、範例寫法、測試與監察方法,以及常見錯誤。官方資料來源包括 OpenAI 檢索程式說明、Anthropic 說明中心、Perplexity 說明文件,以及 Google 的常見檢索程式頁面。
先分清楚三種用途
| 用途 | 意思 | 封鎖後的主要影響 |
|---|---|---|
| 模型訓練 | 檢索內容,可能用於訓練生成式 AI 模型 | 表示內容不應用於訓練;一般不影響 AI 搜尋是否列出你的網站 |
| 搜尋索引 | 建立索引,用於在 AI 搜尋結果中顯示及連結網站 | 網站可能不會出現在該 AI 搜尋的答案中 |
| 用戶觸發 | 用戶提問時,系統即時讀取網頁以回答問題 | 部分程式可能不受 robots.txt 約束,見下文 |
所以,「要不要封鎖 AI」這個問題需要拆開來問:你是否接受內容被用作訓練?你是否希望出現在 AI 搜尋的答案中?答案不同,設定亦不同。對大部分希望被客戶找到的中小企來說,通常是接受搜尋用途、再按個人立場決定訓練用途。
各家程式一覽
| 公司 | 程式(User-agent) | 用途 | 官方說明的 robots.txt 行為 |
|---|---|---|---|
| OpenAI | OAI-SearchBot | 在 ChatGPT 搜尋功能中顯示網站 | 可獨立於 GPTBot 管理;選擇退出的網站不會顯示於 ChatGPT 搜尋答案,但仍可能以導航連結出現;OpenAI 建議允許,以便網站出現在搜尋結果 |
| OpenAI | GPTBot | 檢索可能用於訓練生成式 AI 基礎模型的內容 | 可獨立於 OAI-SearchBot 管理;禁止表示內容不應用於訓練 |
| OpenAI | ChatGPT-User | 用戶在 ChatGPT 及自訂 GPT 中發起的操作 | 不用於自動檢索網頁;由於由用戶發起,robots.txt 規則可能不適用 |
| Anthropic | ClaudeBot | 收集可能用於訓練 Anthropic 生成式 AI 模型的內容 | 限制表示網站日後的資料應排除於訓練資料集之外 |
| Anthropic | Claude-User | 用戶向 Claude 提問時可能存取網站 | 停用會令系統無法為用戶的查詢讀取網站內容,可能降低網站在用戶發起的網頁搜尋中的可見度 |
| Anthropic | Claude-SearchBot | 瀏覽網頁以改善搜尋結果質素 | 停用會令網站內容無法被索引以優化搜尋,可能降低網站在搜尋結果的可見度與準確度 |
| Perplexity | PerplexityBot | 在 Perplexity 搜尋結果中顯示及連結網站 | 可用 robots.txt 管理,Perplexity 建議允許;頁面說明它並非用於檢索內容以訓練 AI 基礎模型 |
| Perplexity | Perplexity-User | 用戶提問時讀取網頁並附上連結 | 由於由用戶要求,一般會忽略 robots.txt 規則 |
| Google-Extended | 管理內容可否用於訓練未來世代的 Gemini 模型,及 Gemini 應用程式的「接地」(grounding) | 只是 robots.txt 的產品代號,沒有獨立的 HTTP 用戶代理字串;不影響網站收錄於 Google 搜尋,亦不是 Google 搜尋的排名訊號 |
幾點補充:第一,OpenAI 說明如兩個程式都被允許,可能會把一次檢索的結果同時用於兩種用途,以避免重複檢索。第二,Perplexity 與 OpenAI 均說明 robots.txt 的改動需要時間生效,大約 24 小時。第三,Anthropic 說明其程式遵守業界標準的「不要檢索」指令,並支援非標準的 Crawl-delay 擴充指令;它亦提醒,封鎖 Anthropic 的 IP 位址未必有效,因為這會令其無法讀取 robots.txt,反而可能令退出設定無法維持。第四,Google 的資料指出,Google 計劃在 2027 年初支援 AIPREF 這個共同的機器可讀訓練偏好訊號,細節以 Google 屆時公布為準。
Google 搜尋的 AI 功能:不由 Google-Extended 控制
很多人誤以為封鎖 Google-Extended 就可以退出 AI Overviews,其實並非如此。Google 在 AI 功能的說明中指出:頁面要在 AI Overviews 或 AI Mode 中作為支援連結出現,必須已被收錄,並符合顯示摘要的條件,且沒有額外的技術要求;管理 Google 搜尋檢索的是 Googlebot 的 robots.txt 指令,要限制頁面在搜尋顯示的資訊,則使用 nosnippet、data-nosnippet、max-snippet 或 noindex。Google-Extended 則用來管理內容可否用於 Gemini 的訓練及 grounding,並不影響 Google 搜尋的收錄及排名。因此:
- 想繼續在 Google 搜尋及其 AI 功能出現:不要封鎖 Googlebot,也不需要為 AI 功能做特別的設定。
- 不想內容用於 Gemini 的訓練及 grounding:可針對 Google-Extended 設定,但不會影響 Google 搜尋的表現。
- 想限制頁面在搜尋結果的顯示內容:使用摘要相關的控制,而不是 robots.txt。
三種常見設定情境與範例
情境一:歡迎 AI 搜尋,不願內容用於訓練
# 允許搜尋用途
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# 不允許訓練用途
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
情境二:全面歡迎
不需要為 AI 程式加入任何特別規則,只需確保 User-agent: * 群組沒有封鎖重要頁面,並確認防火牆及 CDN 沒有誤擋這些程式。Google 亦提醒,要確保 robots.txt 以及任何 CDN 或主機基礎設施都允許檢索。
情境三:只封鎖特定目錄
例如會員專區、報價單及內部文件,不論哪個程式都不應檢索,可在 * 群組加入 Disallow。但必須記住,robots.txt 只是請求,並非存取控制;敏感內容仍須以登入及權限保護。同時,指名的群組與 * 群組不會合併,為某個 AI 程式新增群組後,需要在該群組重複寫上需要的規則,詳見 robots.txt 完整指南。
用戶觸發的程式:robots.txt 未必有效
OpenAI 說明 ChatGPT-User 的操作由用戶發起,robots.txt 規則可能不適用;Perplexity 亦說明 Perplexity-User 因由用戶要求,一般會忽略 robots.txt。這類存取的性質更像是用戶自己用瀏覽器讀取網頁,而不是自動檢索。如果希望限制這類存取,不能依賴 robots.txt,而應在伺服器層面處理,例如要求登入,或按各公司公布的 IP 範圍設定防火牆。OpenAI 及 Perplexity 均公布 IP 範圍的 JSON 檔案,並建議以官方公布為準,因為地址會定期更新。需要留意的是,封鎖這類存取,等於令 AI 工具在用戶提問時無法讀取你的頁面,可能影響被引用的機會。
怎樣測試及監察
- 先測試 robots.txt 本身:確認檔案回應 200、內容正確,且各群組語法無誤,方法見robots.txt 指南。
- 留意生效時間:OpenAI 及 Perplexity 均表示約需 24 小時才反映更新。
- 檢查伺服器日誌:按 User-agent 篩選各程式的請求,確認它們有按你的設定行動,並留意請求量是否異常。
- 核對 IP 範圍:日誌中的 User-agent 可以被偽冒,如需確認來源,應對照各公司公布的 IP 範圍。
- 檢查防火牆及 CDN:有些安全設定或 CDN 預設會擋掉機器人流量,令你以為已允許、實際上卻被拒絕。
- 每季複查:各公司可能新增或改名程式,建議每季對照官方頁面更新一次。
至於 AI 引用是否因此增加,目前沒有官方報表可以直接量度,做法可參考 AI 引用的量度方法。
常見的六個錯誤
- 一次過封鎖所有 AI 程式:搜尋用途的程式也被封鎖,網站不會出現在對應的 AI 搜尋答案中。
- 把訓練程式與搜尋程式混為一談:封鎖 GPTBot 並不會令網站退出 ChatGPT 搜尋;反過來,允許 OAI-SearchBot 也不代表同意訓練。
- 以為封鎖 Google-Extended 就能退出 AI Overviews:兩者並無關係,見上文。
- 以為 robots.txt 可以保護敏感內容:它只是請求,不是存取控制。
- 以 IP 封鎖取代 robots.txt:Anthropic 提醒這可能令其無法讀取 robots.txt,退出設定反而不穩定。
- 寫了規則卻沒有複查:名稱拼錯、群組互相覆蓋或防火牆擋掉,規則都不會按預期生效。
與 llms.txt、GEO 的關係
robots.txt 是管理檢索的機制,而 llms.txt 是另一種供部分服務讀取的文字檔,兩者不能互相取代。Google 在 2026 年 6 月的更新中說明,Google 搜尋不需要 llms.txt,它既不會對可見度或排名有正面或負面影響,但若為其他使用這些檔案的服務而維護,也沒有問題。詳細做法見 llms.txt 實作指南。至於整體 AI 搜尋策略,Google 的立場是 AI 功能適用既有的 SEO 基礎做法,沒有額外要求,詳見 GEO 是什麼及 FAQ 內容寫法。
設定前的決策檢查清單
- 是否已決定內容可否用於 AI 模型訓練?
- 是否希望出現在 ChatGPT、Claude、Perplexity 等 AI 搜尋的答案中?
- 是否已確認各程式最新的 User-agent 名稱及用途,並以官方頁面為準?
- 搜尋用途的程式是否沒有被封鎖?
- 訓練用途的程式是否已按你的決定設定?
- Googlebot 是否沒有被誤封,並理解 Google-Extended 與 Google 搜尋無關?
- 敏感內容是否已有登入或權限保護,而不只靠 robots.txt?
- 防火牆及 CDN 是否沒有誤擋已允許的程式?
- 是否已查看伺服器日誌,確認各程式的行為?
- 是否已訂下每季複查的日期?
常見情況的快速判斷
| 情況 | 建議做法 |
|---|---|
| 希望客戶能在 AI 搜尋找到公司 | 允許 OAI-SearchBot、Claude-SearchBot 及 PerplexityBot,並確保重要頁面可讀取 |
| 不希望文章被用作訓練 | 針對 GPTBot、ClaudeBot 及 Google-Extended 設定 Disallow |
| 伺服器負載突然上升 | 先檢查日誌確認來源,再考慮對特定程式設定 Crawl-delay(Anthropic 支援)或在防火牆限速 |
| 會員專區內容不應被讀取 | 以登入及權限保護,robots.txt 只作輔助 |
| 想完全退出 Google 的 AI Overviews | 使用 nosnippet、max-snippet 或 noindex,並了解這同時會影響搜尋結果的顯示 |
| 不確定如何取捨 | 先允許搜尋用途、封鎖訓練用途,觀察日誌及流量,再按結果調整 |
下一步
建議先打開網站的 robots.txt,對照上表檢查有沒有 AI 程式的規則,並查看伺服器日誌,了解哪些程式曾經造訪。如需協助整理 robots.txt、防火牆及 AI 搜尋的整體設定,So Marketing 的SEO 優化服務包括技術審核,亦可先用 GEO 檢查工具掃描基本設定,或聯絡我們索取檢查建議。
資料來源:OpenAI〈Overview of OpenAI Crawlers〉、Anthropic 說明中心〈Does Anthropic crawl data from the web…〉、Perplexity〈Bots〉說明文件、Google Search Central〈Google's common crawlers〉、〈AI features and your website〉及文件更新紀錄。各公司的程式名稱、用途及政策可能隨時調整,設定前請以官方最新頁面為準。最後更新:2026 年 11 月。