Cloudflare 引入了针对搜索爬虫、AI训练和用户定向AI代理的独立控制机制。这一变化允许网站所有者声明其内容不应用于AI训练，而不会自动阻止参与训练的爬虫程序进行传统的搜索索引。
区分这些功能至关重要，因为像 Googlebot、Bingbot 和 Applebot 这样的热门 AI 机器人往往具备多种功能。完全屏蔽这些混合用途的爬虫程序可能会同时影响 AI 访问权限和搜索结果的可见性。
Cloudflare 区分三种爬行动物活动类型
Cloudflare 现在将爬虫活动分为三类控制措施：
- 搜索 涵盖用于构建传统搜索索引的爬虫操作。
- 培训实施 涵盖用于训练或微调 AI 模型的网络爬虫。
- 经纪人 涵盖了人工智能代理代表用户访问页面的情况。
一个网络爬虫可以属于多个类别。例如，Googlebot 支持传统的谷歌搜索，而谷歌也运营着与人工智能相关的服务。
Cloudflare 针对这种情况，我们引入了“禁止 AI 训练”设置。该设置允许负责任的爬虫程序继续访问网站进行搜索，同时表明该内容不应用于模型训练。
据报道，苹果、谷歌和微软已经提供或承诺提供机制，以尊重用户各自独立的搜索和培训偏好。 Cloudflare 公告（截图如下）。
完全屏蔽可能会影响传统搜索可见性
Cloudflare现在，“阻止”和“阻止包含广告的页面”设置也适用于混合用途爬虫，包括 Applebot、Bingbot 和 Googlebot。选择任一选项都可能影响搜索抓取以及与人工智能相关的活动。
想要保持网站被索引的网站所有者不应该仅仅因为反对人工智能训练就使用完全屏蔽设置。 Cloudflare 建议在希望保留搜索访问权限但选择退出训练时使用“禁止 AI 训练”。
Cloudflare 此外，系统还将用独立的搜索、训练和代理控件取代更广泛的“阻止 AI 机器人”标签。受管理的 Robots.txt 文件将被机器人偏好同步功能取代，该功能通过受支持的爬虫指令传达网站所有者的选择。
现有 Cloudflare 设置正在迁移
Cloudflare 表示大多数现有客户无需立即采取行动，因为他们当前的偏好设置将自动迁移。
使用先前 Block AI 设置的域通常会迁移到以下配置：
- 搜查仍然允许。
- 禁止进行人工智能训练。
- 在包含广告的页面上，代理访问权限将被阻止。
已使用的域名 Cloudflare的细粒度控制选项将保留其现有选择的实际效果。之前“阻止”或“阻止包含广告的页面”的训练设置将更改为“禁止 AI 训练”。
网站所有者在迁移后仍然可以更改这些设置。严重依赖自然搜索的企业应该仔细检查迁移后的配置，而不是想当然地认为之前的所有规则都已按预期迁移。
新域名会收到不同的推荐设置
Cloudflare 现在针对广告支持型网站和非广告支持型网站提供不同的推荐设置。
两种配置下都允许搜索爬取。 Cloudflare 建议对产生广告收入的新域名禁用 AI 训练并屏蔽包含广告的页面。对于没有广告的新域名，则初始阶段会提供更宽松的训练和代理设置。
这些预设选项仅为建议，并非永久限制。客户可以在注册过程中或通过其他方式更改每个爬虫类别。 Cloudflare 仪表板。
履带式车辆支持仍因运营商而异
爬虫运营商使用不同的机制来处理发布商偏好设置。Google 支持以下机制： Google-Extended robots.txt 令牌用于 AI 训练控制。苹果公司使用 Applebot-Extended虽然微软目前提供了诸如以下的控制功能： NOARCHIVE 指令和 Bing 网站管理员工具。
Cloudflare 微软表示，谷歌和苹果的训练退出选项不会影响传统的搜索排名。微软正在努力实现更广泛的域名级 robots.txt 支持。 Cloudflare 据称目标是在 2027 年初。
新的 Cloudflare 控制措施简化了爬虫管理，但并未形成统一的标准。每个运营商仍然自行决定如何解读和执行发布商的偏好设置。
HostScore的采取
网站所有者不应将所有人工智能爬虫视为同一类。搜索索引、模型训练和用户引导的代理访问会带来不同的益处和风险。完全屏蔽爬虫或许可以保护内容免受某种用途的影响，但同时也会使网站失去一个重要的发现渠道。
对于混合用途的爬虫来说，这种风险最高，因为一个用户代理可以支持多种服务。对于运营内容网站的发布商，您应该检查以下设置：
- Cloudflare 搜索、训练和代理控制。
- 现有的 robots.txt 规则。
- Google 扩展指令和 Applebot 扩展指令。
- Bing 提供的索引和 AI 控制功能。
- 爬行活动 Cloudflare 分析和服务器日志。
- Google Search Console 和 Bing 网站站长工具中的索引变更。
Cloudflare这项变更提供了更多控制权，但合适的配置取决于网站的商业模式。一家依靠广告收入的出版商可能会比一家希望人工智能生成的答案引用其文档的企业，对人工智能代理的限制更为严格。
有效的方法是为搜索、训练和代理访问分别设置不同的策略，然后验证爬虫的实际行为。仅凭仪表盘设置无法显示网站是否在搜索引擎和人工智能平台上保持可见。
