Cloudflare A plataforma introduziu controles separados para rastreamento de buscas, treinamento de IA e agentes de IA direcionados pelo usuário. Essa mudança permite que os proprietários de sites comuniquem que seu conteúdo não deve ser usado para treinamento de IA sem bloquear automaticamente os rastreadores participantes da indexação de buscas tradicionais.
Essa distinção é importante, pois bots de IA populares como Googlebot, Bingbot e Applebot desempenham mais de uma função. Bloquear completamente esses rastreadores de uso misto pode afetar tanto o acesso da IA quanto a visibilidade nos resultados de busca.
Cloudflare Separa três tipos de atividade de rastejadores.
Cloudflare Agora classifica a atividade dos rastreadores em três controles:
- Pesquisar Abrange a indexação usada para construir um índice de pesquisa tradicional.
- Formação Abrange técnicas de rastreamento usadas para treinar ou ajustar um modelo de IA.
- Agente Este texto aborda um agente de IA que visita uma página em nome de um usuário.
Um rastreador pode se enquadrar em mais de uma categoria. O Googlebot, por exemplo, dá suporte à Busca tradicional do Google, enquanto o Google também opera serviços relacionados à IA.
Cloudflare Introduzimos uma configuração "Impedir Treinamento de IA" para essa situação. Essa configuração permite que um rastreador responsável continue acessando o site para pesquisa, enquanto comunica que o conteúdo não deve ser usado para treinamento de modelos.
Apple, Google e Microsoft forneceram ou se comprometeram a fornecer mecanismos para respeitar preferências separadas de pesquisa e treinamento, de acordo com o Cloudflare Anúncio (captura de tela abaixo).
O bloqueio total pode afetar a visibilidade nas buscas tradicionais.
CloudflareAs configurações de bloqueio e bloqueio em páginas com anúncios agora se aplicam a rastreadores de uso misto, incluindo Applebot, Bingbot e Googlebot. Selecionar qualquer uma das opções pode afetar o rastreamento de pesquisa, bem como a atividade relacionada à IA.
Os proprietários de sites que desejam permanecer indexados não devem usar a configuração de bloqueio total simplesmente porque se opõem ao treinamento de IA. Cloudflare Recomenda-se usar a opção "Desativar treinamento de IA" quando o objetivo for preservar o acesso à pesquisa, mas optar por não participar do treinamento.
Cloudflare Além disso, o rótulo mais abrangente "Bloquear bots de IA" está sendo substituído por controles separados de Busca, Treinamento e Agente. O arquivo robots.txt gerenciado está sendo substituído pela Sincronização de Preferências de Bots, que comunica as seleções do proprietário do site por meio de diretivas de rastreamento compatíveis.
Existente Cloudflare As configurações estão sendo migradas.
Cloudflare A empresa afirma que a maioria dos clientes atuais não precisa tomar nenhuma providência imediata, pois suas preferências serão migradas automaticamente.
Um domínio que utilizava a configuração anterior do Block AI geralmente será migrado para a seguinte configuração:
- A busca continua permitida.
- O treinamento de IA é proibido.
- O acesso de agentes está bloqueado em páginas com anúncios.
Domínios que já utilizam CloudflareOs controles detalhados manterão o efeito prático de suas seleções atuais. As configurações de treinamento anteriores, como "Bloquear" ou "Bloquear em páginas com anúncios", serão alteradas para "Desativar treinamento de IA".
Os proprietários de sites ainda podem alterar essas configurações após a migração. Empresas que dependem fortemente da busca orgânica devem revisar a configuração resultante em vez de presumir que todas as regras anteriores foram transferidas conforme o esperado.
Novos domínios recebem configurações recomendadas diferentes.
Cloudflare Agora, oferece configurações recomendadas diferentes para sites com e sem publicidade.
A indexação de pesquisa permanece permitida em ambas as configurações. Cloudflare Recomenda-se desativar o treinamento de IA e bloquear anúncios em páginas para novos domínios que geram receita publicitária. Novos domínios sem publicidade recebem inicialmente configurações de treinamento e agente mais permissivas.
Essas configurações predefinidas são recomendações, não restrições permanentes. Os clientes podem alterar cada categoria de rastreador durante a integração ou por meio do Cloudflare painel de controle.
O suporte para veículos de esteira ainda varia de acordo com a operadora.
Os operadores de rastreadores usam mecanismos diferentes para processar as preferências dos editores. O Google oferece suporte ao Google-Extended Token robots.txt para controles de treinamento de IA. A Apple usa Applebot-Extended, embora a Microsoft atualmente forneça controles como o NOARCHIVE diretiva e Ferramentas para Webmasters do Bing.
Cloudflare A Microsoft afirma que as opções de desativação de treinamento do Google e da Apple não afetam a classificação de pesquisa tradicional. A Microsoft está trabalhando para um suporte mais amplo ao robots.txt em nível de domínio, o que Cloudflare A previsão é que esteja previsto para o início de 2027.
O novo Cloudflare Os controles facilitam o gerenciamento de rastreadores, mas não criam um padrão universal único. Cada operador ainda controla como interpreta e implementa as preferências do editor.
HostScore'estaca
Os proprietários de sites devem parar de tratar todos os rastreadores de IA como uma única categoria. A indexação de pesquisa, o treinamento de modelos e as visitas de agentes direcionadas pelo usuário criam benefícios e riscos diferentes. Um bloqueio total do rastreador pode proteger o conteúdo de um uso específico, ao mesmo tempo que remove o site de um valioso canal de descoberta.
Esse risco é maior com rastreadores de uso misto, pois um único agente de usuário pode suportar vários serviços. Para editores que administram sites de conteúdo, recomenda-se revisar as seguintes configurações:
- Cloudflare Controles de pesquisa, treinamento e agentes.
- Regras existentes no arquivo robots.txt.
- Diretivas Google-Extended e Applebot-Extended.
- Controles de indexação e IA disponíveis no Bing.
- Atividade de rastejamento em Cloudflare análises e registros do servidor.
- Alterações de indexação no Google Search Console e no Bing Webmaster Tools.
CloudflareA alteração proporciona mais controle, mas a configuração ideal depende do modelo de negócios do site. Uma editora financiada por publicidade pode restringir os agentes de IA mais do que uma empresa que deseja que sua documentação seja citada em respostas geradas por IA.
A abordagem mais útil é definir políticas separadas para pesquisa, treinamento e acesso do agente, e então verificar o comportamento real do rastreador. Uma configuração de painel de controle por si só não mostra se um site permanece visível em mecanismos de busca e plataformas de IA.
