Cloudflare Se han introducido controles independientes para el rastreo de búsqueda, el entrenamiento de IA y los agentes de IA dirigidos por el usuario. Este cambio permite a los propietarios de sitios web comunicar que su contenido no debe utilizarse para el entrenamiento de IA sin bloquear automáticamente a los rastreadores participantes de la indexación de búsqueda tradicional.
Esta distinción es importante, ya que los populares bots de IA como Googlebot, Bingbot y Applebot realizan más de una función. Bloquear por completo estos rastreadores de uso mixto puede afectar tanto el acceso a la IA como la visibilidad en los resultados de búsqueda.
Cloudflare Separa tres tipos de actividad de gateo
Cloudflare Ahora clasifica la actividad de rastreo bajo tres controles:
- Buscar Cubre el rastreo utilizado para construir un índice de búsqueda tradicional.
- Capacitación Especializada Cubre el rastreo utilizado para entrenar o ajustar un modelo de IA.
- Agente Se refiere a un agente de IA que visita una página en nombre de un usuario.
Un rastreador web puede pertenecer a más de una categoría. Googlebot, por ejemplo, da soporte a la búsqueda tradicional de Google, mientras que Google también gestiona servicios relacionados con la inteligencia artificial.
Cloudflare Se ha introducido una configuración para deshabilitar el entrenamiento de IA en esta situación. Esta configuración permite que un rastreador autorizado continúe accediendo al sitio para realizar búsquedas, al tiempo que indica que el contenido no debe utilizarse para el entrenamiento del modelo.
Apple, Google y Microsoft han proporcionado o se han comprometido a proporcionar mecanismos para respetar las preferencias de búsqueda y entrenamiento independientes, según la Cloudflare anuncio (captura de pantalla a continuación).
El bloqueo total puede afectar la visibilidad en las búsquedas tradicionales.
CloudflareLas opciones de bloqueo y bloqueo en páginas con anuncios ahora se aplican a los rastreadores de uso mixto, incluidos Applebot, Bingbot y Googlebot. Seleccionar cualquiera de estas opciones puede afectar tanto al rastreo de búsqueda como a la actividad relacionada con la IA.
Los propietarios de sitios web que deseen permanecer indexados no deberían utilizar la configuración de bloqueo total simplemente porque se oponen al entrenamiento de la IA. Cloudflare Se recomienda utilizar la opción "Deshabilitar el entrenamiento de IA" cuando el objetivo sea preservar el acceso a la búsqueda y, al mismo tiempo, optar por no participar en el entrenamiento.
Cloudflare También se está reemplazando la etiqueta general "Bloquear bots de IA" con controles separados para Búsqueda, Entrenamiento y Agentes. El archivo Managed Robots.txt se está reemplazando por Bot Preference Sync, que comunica las selecciones del propietario del sitio web mediante directivas de rastreo compatibles.
Ya eres Cloudflare Se están migrando los ajustes.
Cloudflare Afirma que la mayoría de los clientes actuales no necesitan tomar ninguna medida inmediata, ya que sus preferencias actuales se migrarán automáticamente.
Un dominio que utilizaba la configuración anterior de Bloquear IA generalmente pasará a la siguiente configuración:
- La búsqueda sigue permitida.
- El entrenamiento de IA está prohibido.
- El acceso de los agentes está bloqueado en las páginas con anuncios.
Dominios que ya utilizan CloudflareLos controles granulares conservarán el efecto práctico de sus selecciones existentes. Las configuraciones de entrenamiento anteriores de Bloquear o Bloquear en páginas con anuncios pasarán a No permitir el entrenamiento de IA.
Los propietarios de sitios web aún pueden modificar estas configuraciones después de la migración. Las empresas que dependen en gran medida de la búsqueda orgánica deben revisar la configuración resultante en lugar de asumir que todas las reglas anteriores se transfirieron correctamente.
Los nuevos dominios reciben configuraciones recomendadas diferentes.
Cloudflare Ahora ofrece diferentes configuraciones recomendadas para sitios web con publicidad y sitios web sin publicidad.
El rastreo de búsqueda sigue estando permitido en ambas configuraciones. Cloudflare Se recomienda deshabilitar el entrenamiento de IA y bloquear las páginas con anuncios para los dominios nuevos que generan ingresos publicitarios. A los dominios nuevos sin publicidad se les ofrecen inicialmente configuraciones de entrenamiento y agente más permisivas.
Estos ajustes preestablecidos son recomendaciones en lugar de restricciones permanentes. Los clientes pueden cambiar cada categoría de rastreador durante la incorporación o a través de la Cloudflare .
El soporte para orugas aún varía según el operador.
Los operadores de rastreadores utilizan diferentes mecanismos para procesar las preferencias de los editores. Google admite el Google-Extended Token robots.txt para controles de entrenamiento de IA. Apple utiliza Applebot-Extended, mientras que Microsoft actualmente proporciona controles como el NOARCHIVE directiva y Herramientas para webmasters de Bing.
Cloudflare dice que las opciones de exclusión voluntaria de entrenamiento de Google y Apple no afectan la clasificación de búsqueda tradicional. Microsoft está trabajando para un soporte más amplio de robots.txt a nivel de dominio, que Cloudflare Según indica, su lanzamiento está previsto para principios de 2027.
El nuevo edificio corporativo de Cloudflare Los controles facilitan la gestión de los rastreadores, pero no crean un estándar universal único. Cada operador sigue controlando cómo interpreta e implementa las preferencias del editor.
HostScore'apostar
Los propietarios de sitios web deberían dejar de considerar a todos los rastreadores de IA como una sola categoría. La indexación de búsqueda, el entrenamiento de modelos y las visitas de agentes dirigidas por el usuario generan diferentes beneficios y riesgos. Un bloqueo total de rastreadores puede proteger el contenido de un uso específico, pero a la vez excluir el sitio de un valioso canal de descubrimiento.
Este riesgo es mayor con los rastreadores de uso mixto, ya que un mismo agente de usuario puede admitir varios servicios. Para los editores que gestionan sitios web de contenido, conviene revisar la siguiente configuración:
- Cloudflare Controles de búsqueda, formación y agentes.
- Reglas existentes en robots.txt.
- Directivas Google-Extended y Applebot-Extended.
- Controles de indexación e inteligencia artificial disponibles en Bing.
- Actividad de gateo en Cloudflare Análisis y registros del servidor.
- Cambios en la indexación en Google Search Console y Bing Webmaster Tools.
CloudflareEl cambio proporciona mayor control, pero la configuración adecuada depende del modelo de negocio del sitio web. Un editor financiado por publicidad puede restringir más a los agentes de IA que una empresa que desea que su documentación sea citada en las respuestas generadas por IA.
El enfoque más útil consiste en establecer políticas separadas para la búsqueda, el entrenamiento y el acceso de los agentes, y luego verificar el comportamiento real del rastreador. La configuración del panel de control por sí sola no indica si un sitio web sigue siendo visible en los motores de búsqueda y las plataformas de IA.
