GEO 與 AI 搜尋

AI 爬蟲權限設定:GPTBot、ClaudeBot 與 PerplexityBot

作者:So Marketing 編輯部 11 分鐘閱讀 43 次瀏覽

AI 爬蟲權限設定:訓練、搜尋與用戶觸發三類程式及 robots.txt 範例
重點摘要

設定 AI 爬蟲權限,要先分清訓練、搜尋索引與用戶觸發三種用途。本文整理 OpenAI、Anthropic、Perplexity 及 Google 的程式分工、robots.txt 範例、用戶觸發程式的限制、測試方法與常見錯誤。

設定 AI 檢索程式的 robots.txt 權限,關鍵是先分清楚「訓練」、「搜尋索引」及「用戶觸發」三種用途,因為各公司把它們分給不同的程式,而且可以獨立設定。以 OpenAI 為例,OAI-SearchBot 用於 ChatGPT 的搜尋功能,GPTBot 可能用於訓練模型,兩者可獨立管理;Anthropic 與 Perplexity 亦各有類似的分工。想被 AI 搜尋引用,就不應封鎖搜尋用途的程式;不想內容用作模型訓練,可只針對訓練用途的程式設定。同時要留意,由用戶觸發的程式未必受 robots.txt 約束。

過去一兩年,不少網站管理員因為擔心內容被 AI 使用,一次過把所有 AI 程式封鎖,結果同時失去在 AI 搜尋中被引用的機會;也有管理員完全不處理,之後才發現伺服器被大量請求拖慢,或內容出現在不希望出現的地方。實際上,各 AI 公司的程式名稱、用途及遵守規則的方式並不相同,而且會不時調整,所以較穩妥的做法是以官方說明為準,按業務目標逐項決定。本文整理 OpenAI、Anthropic、Perplexity 及 Google 目前公開的資料,說明三類用途的分別、各程式的設定方法、範例寫法、測試與監察方法,以及常見錯誤。官方資料來源包括 OpenAI 檢索程式說明、Anthropic 說明中心、Perplexity 說明文件,以及 Google 的常見檢索程式頁面。

先分清楚三種用途

用途意思封鎖後的主要影響
模型訓練檢索內容,可能用於訓練生成式 AI 模型表示內容不應用於訓練;一般不影響 AI 搜尋是否列出你的網站
搜尋索引建立索引,用於在 AI 搜尋結果中顯示及連結網站網站可能不會出現在該 AI 搜尋的答案中
用戶觸發用戶提問時,系統即時讀取網頁以回答問題部分程式可能不受 robots.txt 約束,見下文

所以,「要不要封鎖 AI」這個問題需要拆開來問:你是否接受內容被用作訓練?你是否希望出現在 AI 搜尋的答案中?答案不同,設定亦不同。對大部分希望被客戶找到的中小企來說,通常是接受搜尋用途、再按個人立場決定訓練用途。

各家程式一覽

公司程式(User-agent)用途官方說明的 robots.txt 行為
OpenAIOAI-SearchBot在 ChatGPT 搜尋功能中顯示網站可獨立於 GPTBot 管理;選擇退出的網站不會顯示於 ChatGPT 搜尋答案,但仍可能以導航連結出現;OpenAI 建議允許,以便網站出現在搜尋結果
OpenAIGPTBot檢索可能用於訓練生成式 AI 基礎模型的內容可獨立於 OAI-SearchBot 管理;禁止表示內容不應用於訓練
OpenAIChatGPT-User用戶在 ChatGPT 及自訂 GPT 中發起的操作不用於自動檢索網頁;由於由用戶發起,robots.txt 規則可能不適用
AnthropicClaudeBot收集可能用於訓練 Anthropic 生成式 AI 模型的內容限制表示網站日後的資料應排除於訓練資料集之外
AnthropicClaude-User用戶向 Claude 提問時可能存取網站停用會令系統無法為用戶的查詢讀取網站內容,可能降低網站在用戶發起的網頁搜尋中的可見度
AnthropicClaude-SearchBot瀏覽網頁以改善搜尋結果質素停用會令網站內容無法被索引以優化搜尋,可能降低網站在搜尋結果的可見度與準確度
PerplexityPerplexityBot在 Perplexity 搜尋結果中顯示及連結網站可用 robots.txt 管理,Perplexity 建議允許;頁面說明它並非用於檢索內容以訓練 AI 基礎模型
PerplexityPerplexity-User用戶提問時讀取網頁並附上連結由於由用戶要求,一般會忽略 robots.txt 規則
GoogleGoogle-Extended管理內容可否用於訓練未來世代的 Gemini 模型,及 Gemini 應用程式的「接地」(grounding)只是 robots.txt 的產品代號,沒有獨立的 HTTP 用戶代理字串;不影響網站收錄於 Google 搜尋,亦不是 Google 搜尋的排名訊號

幾點補充:第一,OpenAI 說明如兩個程式都被允許,可能會把一次檢索的結果同時用於兩種用途,以避免重複檢索。第二,Perplexity 與 OpenAI 均說明 robots.txt 的改動需要時間生效,大約 24 小時。第三,Anthropic 說明其程式遵守業界標準的「不要檢索」指令,並支援非標準的 Crawl-delay 擴充指令;它亦提醒,封鎖 Anthropic 的 IP 位址未必有效,因為這會令其無法讀取 robots.txt,反而可能令退出設定無法維持。第四,Google 的資料指出,Google 計劃在 2027 年初支援 AIPREF 這個共同的機器可讀訓練偏好訊號,細節以 Google 屆時公布為準。

Google 搜尋的 AI 功能:不由 Google-Extended 控制

很多人誤以為封鎖 Google-Extended 就可以退出 AI Overviews,其實並非如此。Google 在 AI 功能的說明中指出:頁面要在 AI Overviews 或 AI Mode 中作為支援連結出現,必須已被收錄,並符合顯示摘要的條件,且沒有額外的技術要求;管理 Google 搜尋檢索的是 Googlebot 的 robots.txt 指令,要限制頁面在搜尋顯示的資訊,則使用 nosnippet、data-nosnippet、max-snippet 或 noindex。Google-Extended 則用來管理內容可否用於 Gemini 的訓練及 grounding,並不影響 Google 搜尋的收錄及排名。因此:

  • 想繼續在 Google 搜尋及其 AI 功能出現:不要封鎖 Googlebot,也不需要為 AI 功能做特別的設定。
  • 不想內容用於 Gemini 的訓練及 grounding:可針對 Google-Extended 設定,但不會影響 Google 搜尋的表現。
  • 想限制頁面在搜尋結果的顯示內容:使用摘要相關的控制,而不是 robots.txt。

三種常見設定情境與範例

情境一:歡迎 AI 搜尋,不願內容用於訓練

# 允許搜尋用途
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# 不允許訓練用途
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

情境二:全面歡迎

不需要為 AI 程式加入任何特別規則,只需確保 User-agent: * 群組沒有封鎖重要頁面,並確認防火牆及 CDN 沒有誤擋這些程式。Google 亦提醒,要確保 robots.txt 以及任何 CDN 或主機基礎設施都允許檢索。

情境三:只封鎖特定目錄

例如會員專區、報價單及內部文件,不論哪個程式都不應檢索,可在 * 群組加入 Disallow。但必須記住,robots.txt 只是請求,並非存取控制;敏感內容仍須以登入及權限保護。同時,指名的群組與 * 群組不會合併,為某個 AI 程式新增群組後,需要在該群組重複寫上需要的規則,詳見 robots.txt 完整指南。

用戶觸發的程式:robots.txt 未必有效

OpenAI 說明 ChatGPT-User 的操作由用戶發起,robots.txt 規則可能不適用;Perplexity 亦說明 Perplexity-User 因由用戶要求,一般會忽略 robots.txt。這類存取的性質更像是用戶自己用瀏覽器讀取網頁,而不是自動檢索。如果希望限制這類存取,不能依賴 robots.txt,而應在伺服器層面處理,例如要求登入,或按各公司公布的 IP 範圍設定防火牆。OpenAI 及 Perplexity 均公布 IP 範圍的 JSON 檔案,並建議以官方公布為準,因為地址會定期更新。需要留意的是,封鎖這類存取,等於令 AI 工具在用戶提問時無法讀取你的頁面,可能影響被引用的機會。

怎樣測試及監察

  1. 先測試 robots.txt 本身:確認檔案回應 200、內容正確,且各群組語法無誤,方法見robots.txt 指南。
  2. 留意生效時間:OpenAI 及 Perplexity 均表示約需 24 小時才反映更新。
  3. 檢查伺服器日誌:按 User-agent 篩選各程式的請求,確認它們有按你的設定行動,並留意請求量是否異常。
  4. 核對 IP 範圍:日誌中的 User-agent 可以被偽冒,如需確認來源,應對照各公司公布的 IP 範圍。
  5. 檢查防火牆及 CDN:有些安全設定或 CDN 預設會擋掉機器人流量,令你以為已允許、實際上卻被拒絕。
  6. 每季複查:各公司可能新增或改名程式,建議每季對照官方頁面更新一次。

至於 AI 引用是否因此增加,目前沒有官方報表可以直接量度,做法可參考 AI 引用的量度方法。

常見的六個錯誤

  1. 一次過封鎖所有 AI 程式:搜尋用途的程式也被封鎖,網站不會出現在對應的 AI 搜尋答案中。
  2. 把訓練程式與搜尋程式混為一談:封鎖 GPTBot 並不會令網站退出 ChatGPT 搜尋;反過來,允許 OAI-SearchBot 也不代表同意訓練。
  3. 以為封鎖 Google-Extended 就能退出 AI Overviews:兩者並無關係,見上文。
  4. 以為 robots.txt 可以保護敏感內容:它只是請求,不是存取控制。
  5. 以 IP 封鎖取代 robots.txt:Anthropic 提醒這可能令其無法讀取 robots.txt,退出設定反而不穩定。
  6. 寫了規則卻沒有複查:名稱拼錯、群組互相覆蓋或防火牆擋掉,規則都不會按預期生效。

與 llms.txt、GEO 的關係

robots.txt 是管理檢索的機制,而 llms.txt 是另一種供部分服務讀取的文字檔,兩者不能互相取代。Google 在 2026 年 6 月的更新中說明,Google 搜尋不需要 llms.txt,它既不會對可見度或排名有正面或負面影響,但若為其他使用這些檔案的服務而維護,也沒有問題。詳細做法見 llms.txt 實作指南。至於整體 AI 搜尋策略,Google 的立場是 AI 功能適用既有的 SEO 基礎做法,沒有額外要求,詳見 GEO 是什麼及 FAQ 內容寫法。

設定前的決策檢查清單

  1. 是否已決定內容可否用於 AI 模型訓練?
  2. 是否希望出現在 ChatGPT、Claude、Perplexity 等 AI 搜尋的答案中?
  3. 是否已確認各程式最新的 User-agent 名稱及用途,並以官方頁面為準?
  4. 搜尋用途的程式是否沒有被封鎖?
  5. 訓練用途的程式是否已按你的決定設定?
  6. Googlebot 是否沒有被誤封,並理解 Google-Extended 與 Google 搜尋無關?
  7. 敏感內容是否已有登入或權限保護,而不只靠 robots.txt?
  8. 防火牆及 CDN 是否沒有誤擋已允許的程式?
  9. 是否已查看伺服器日誌,確認各程式的行為?
  10. 是否已訂下每季複查的日期?

常見情況的快速判斷

情況建議做法
希望客戶能在 AI 搜尋找到公司允許 OAI-SearchBot、Claude-SearchBot 及 PerplexityBot,並確保重要頁面可讀取
不希望文章被用作訓練針對 GPTBot、ClaudeBot 及 Google-Extended 設定 Disallow
伺服器負載突然上升先檢查日誌確認來源,再考慮對特定程式設定 Crawl-delay(Anthropic 支援)或在防火牆限速
會員專區內容不應被讀取以登入及權限保護,robots.txt 只作輔助
想完全退出 Google 的 AI Overviews使用 nosnippet、max-snippet 或 noindex,並了解這同時會影響搜尋結果的顯示
不確定如何取捨先允許搜尋用途、封鎖訓練用途,觀察日誌及流量,再按結果調整

下一步

建議先打開網站的 robots.txt,對照上表檢查有沒有 AI 程式的規則,並查看伺服器日誌,了解哪些程式曾經造訪。如需協助整理 robots.txt、防火牆及 AI 搜尋的整體設定,So Marketing 的SEO 優化服務包括技術審核,亦可先用 GEO 檢查工具掃描基本設定,或聯絡我們索取檢查建議。

資料來源:OpenAI〈Overview of OpenAI Crawlers〉、Anthropic 說明中心〈Does Anthropic crawl data from the web…〉、Perplexity〈Bots〉說明文件、Google Search Central〈Google's common crawlers〉、〈AI features and your website〉及文件更新紀錄。各公司的程式名稱、用途及政策可能隨時調整,設定前請以官方最新頁面為準。最後更新:2026 年 11 月。

常見問題

不會。OpenAI 說明 GPTBot 與 OAI-SearchBot 的設定互相獨立:GPTBot 與訓練有關,OAI-SearchBot 負責在 ChatGPT 搜尋中顯示網站。要出現在搜尋結果,應允許 OAI-SearchBot。

不可以。Google-Extended 管理內容可否用於訓練未來的 Gemini 模型及 Gemini 應用程式的 grounding,並不影響網站在 Google 搜尋的收錄及排名。要限制頁面在搜尋顯示的內容,應使用 nosnippet、data-nosnippet、max-snippet 或 noindex。

不一定。OpenAI 說明 ChatGPT-User 由用戶發起,robots.txt 規則可能不適用;Perplexity 說明 Perplexity-User 因由用戶要求,一般會忽略 robots.txt。要限制這類存取,需在伺服器或防火牆層面處理。

Anthropic 說明有 ClaudeBot(與訓練相關)、Claude-User(用戶提問時存取網站)及 Claude-SearchBot(改善搜尋結果質素)。停用後兩者可能降低網站在 Claude 搜尋及回答中的可見度。

OpenAI 及 Perplexity 均說明約需 24 小時才會反映更新。修改後建議檢查伺服器日誌,確認各程式的行為與設定一致。

不可以。robots.txt 只是請求,是否遵守由檢索程式決定。敏感內容必須以登入、權限或伺服器層面的限制保護。

AI 爬蟲 GPTBot ClaudeBot PerplexityBot robots.txt

想知道你的網站值幾錢?

用我們的免費報價計算機,60 秒得到完整費用明細與預估工期。

免費計算網頁設計報價 了解AI 搜尋(GEO)優化服務

相關文章

WhatsApp 查詢