Cloudflare 引入了針對搜尋爬蟲、AI訓練和使用者定向AI代理的獨立控制機制。這項變更允許網站所有者聲明其內容不應用於AI訓練，而不會自動阻止參與訓練的爬蟲程序進行傳統的搜尋索引。
區分這些功能至關重要，因為像 Googlebot、Bingbot 和 Applebot 這樣的熱門 AI 機器人往往具備多種功能。完全屏蔽這些混合用途的爬蟲程式可能會同時影響 AI 存取權和搜尋結果的可見性。
Cloudflare 區分三種爬蟲類活動類型
Cloudflare 現在將爬蟲活動分為三類防治措施：
- 搜尋 涵蓋用於建立傳統搜尋索引的爬蟲操作。
- 技術培訓 涵蓋用於訓練或微調 AI 模型的網路爬蟲。
- 經紀人 涵蓋了人工智慧代理代表用戶訪問頁面的情況。
一個網路爬蟲可以屬於多個類別。例如，Googlebot 支援傳統的谷歌搜索，而谷歌也經營與人工智慧相關的服務。
Cloudflare 針對這種情況，我們引入了「禁止 AI 訓練」設定。該設定允許負責任的爬蟲程序繼續訪問網站進行搜索，同時表明該內容不應用於模型訓練。
據報道，蘋果、谷歌和微軟已經提供或承諾提供機制，以尊重用戶各自獨立的搜尋和培訓偏好。 Cloudflare 公告（截圖如下）。
完全屏蔽可能會影響傳統搜尋可見性
Cloudflare現在，「封鎖」和「封鎖包含廣告的頁面」設定也適用於混合用途爬蟲，包括 Applebot、Bingbot 和 Googlebot。選擇任一選項都可能影響搜尋抓取以及與人工智慧相關的活動。
想要保持網站被索引的網站所有者不應該僅僅因為反對人工智慧訓練就使用完全屏蔽設定。 Cloudflare 建議在希望保留搜尋存取權限但選擇退出訓練時使用「禁止 AI 訓練」。
Cloudflare 此外，系統還將以獨立的搜尋、訓練和代理控制取代寬泛的「阻止 AI 機器人」標籤。受管理的 Robots.txt 檔案將被機器人偏好同步功能取代，該功能透過支援的爬蟲指令傳達網站所有者的選擇。
現有 Cloudflare 設定正在遷移
Cloudflare 表示大多數現有客戶無需立即採取行動，因為他們目前的偏好設定將自動遷移。
使用先前 Block AI 設定的網域通常會遷移到以下配置：
- 搜查仍然允許。
- 禁止進行人工智慧訓練。
- 在包含廣告的頁面上，代理存取權限將被阻止。
已使用的域名 Cloudflare的細粒度控制選項將保留其現有選擇的實際效果。先前「封鎖」或「封鎖包含廣告的頁面」的訓練設定將變更為「禁止 AI 訓練」。
網站所有者在遷移後仍然可以更改這些設定。嚴重依賴自然搜尋的企業應該仔細檢查遷移後的配置，而不是想當然地認為之前的所有規則都已如預期遷移。
新域名會收到不同的推薦設置
Cloudflare 現在針對廣告支援型網站和非廣告支援型網站提供了不同的推薦設定。
兩種配置下都允許搜尋爬取。 Cloudflare 建議對產生廣告收入的新網域禁用 AI 訓練並封鎖包含廣告的頁面。對於沒有廣告的新域名，則初始階段會提供更寬鬆的訓練和代理設定。
這些預設選項僅為建議，而非永久限制。客戶可以在註冊過程中或透過其他方式更改每個爬蟲類別。 Cloudflare 儀表板。
履帶式車輛支援仍因營運商而異
爬蟲業者使用不同的機制來處理發布商偏好設定。 Google 支援以下機制： Google-Extended robots.txt 令牌用於 AI 訓練控制。蘋果公司使用 Applebot-Extended雖然微軟目前提供了以下的控制功能： NOARCHIVE 指示和 Bing 網站管理員工具。
Cloudflare 微軟表示，谷歌和蘋果的訓練退出選項不會影響傳統的搜尋排名。微軟正在努力實現更廣泛的網域級 robots.txt 支援。 Cloudflare 據稱目標是在 2027 年初。
新的 Cloudflare 控制措施簡化了爬蟲管理，但並未形成統一的標準。每個運營商仍然自行決定如何解讀和執行發布商的偏好設定。
HostScore的看法
網站所有者不應將所有人工智慧爬蟲視為同一類。搜尋索引、模型訓練和使用者引導的代理存取會帶來不同的益處和風險。完全屏蔽爬蟲或許可以保護內容免受某種用途的影響，但同時也會使網站失去一個重要的發現管道。
對於混合用途的爬蟲來說，這種風險最高，因為一個用戶代理可以支援多種服務。對於經營內容網站的發布商，您應該檢查以下設定：
- Cloudflare 搜尋、訓練和代理控制。
- 現有的 robots.txt 規則。
- Google 擴充指令和 Applebot 擴充指令。
- Bing 提供的索引和 AI 控制功能。
- 爬行活動 Cloudflare 分析和伺服器日誌。
- Google Search Console 和 Bing 網站管理員工具中的索引變更。
Cloudflare這項變更提供了更多控制權，但合適的配置取決於網站的商業模式。一家依靠廣告收入的出版商可能會比一家希望人工智慧產生的答案引用其文件的企業，對人工智慧代理商的限制更為嚴格。
有效的方法是為搜尋、訓練和代理訪問分別設定不同的策略，然後驗證爬蟲的實際行為。僅憑儀表板設定無法顯示網站是否在搜尋引擎和人工智慧平台上保持可見。
