Cloudflare a introduit des contrôles distincts pour l'exploration des moteurs de recherche, l'entraînement de l'IA et les agents d'IA pilotés par l'utilisateur. Cette modification permet aux propriétaires de sites web d'indiquer que leur contenu ne doit pas être utilisé pour l'entraînement de l'IA sans pour autant bloquer automatiquement l'indexation par les robots d'exploration participants.
Cette distinction est importante car les robots d'exploration IA populaires comme Googlebot, Bingbot et Applebot remplissent plusieurs fonctions. Bloquer complètement ces robots à usage multiple peut affecter à la fois l'accès à l'IA et la visibilité dans les résultats de recherche.
Cloudflare Sépare trois types d'activités de ramper
Cloudflare classe désormais l'activité des robots d'exploration sous trois contrôles :
- Rechercher couvre le processus d'exploration utilisé pour construire un index de recherche traditionnel.
- Formation couvre le processus d'exploration utilisé pour entraîner ou affiner un modèle d'IA.
- Agent décrit un agent d'IA visitant une page pour le compte d'un utilisateur.
Un robot d'exploration peut appartenir à plusieurs catégories. Googlebot, par exemple, prend en charge la recherche Google traditionnelle, tandis que Google propose également des services liés à l'intelligence artificielle.
Cloudflare Pour ce cas de figure, nous avons introduit une option « Interdire l’entraînement de l’IA ». Cette option permet à un robot d’exploration responsable de continuer à accéder au site pour la recherche tout en indiquant que son contenu ne doit pas être utilisé pour l’entraînement de modèles.
Apple, Google et Microsoft ont mis en place ou se sont engagés à mettre en place des mécanismes permettant de respecter les préférences distinctes en matière de recherche et de formation, selon le Cloudflare annonce (capture d'écran ci-dessous).
Le blocage total peut affecter la visibilité des recherches traditionnelles.
CloudflareLes paramètres de blocage et de blocage sur les pages contenant des publicités s'appliquent désormais aux robots d'exploration à usage mixte, notamment Applebot, Bingbot et Googlebot. Le choix de l'une ou l'autre de ces options peut affecter l'exploration des moteurs de recherche ainsi que les activités liées à l'IA.
Les propriétaires de sites web qui souhaitent rester indexés ne devraient pas utiliser le paramètre de blocage complet simplement parce qu'ils s'opposent à l'entraînement par IA. Cloudflare Il est recommandé d'utiliser l'option « Interdire l'entraînement de l'IA » lorsque l'objectif est de préserver l'accès à la recherche tout en refusant l'entraînement.
Cloudflare Le système remplace également l'étiquette générale « Bloquer les robots d'IA » par des contrôles distincts pour la recherche, l'entraînement et les agents. Le fichier Robots.txt géré est remplacé par la synchronisation des préférences des robots, qui communique les choix du propriétaire du site web via les directives de robot d'exploration prises en charge.
Existant Cloudflare Les paramètres sont en cours de migration.
Cloudflare L'entreprise indique que la plupart des clients existants n'ont pas besoin d'agir immédiatement, car leurs préférences actuelles seront migrées automatiquement.
Un domaine utilisant le paramètre Block AI précédent passera généralement à la configuration suivante :
- La recherche reste autorisée.
- L'entraînement de l'IA est interdit.
- L'accès des agents est bloqué sur les pages contenant des publicités.
Domaines qui utilisent déjà CloudflareLes options de contrôle détaillées conserveront leur effet pratique. Les paramètres d'entraînement précédents, tels que « Bloquer » ou « Bloquer sur les pages contenant des publicités », seront remplacés par « Interdire l'entraînement de l'IA ».
Les propriétaires de sites web peuvent encore modifier ces paramètres après la migration. Les entreprises qui dépendent fortement du référencement naturel devraient examiner la configuration résultante au lieu de supposer que toutes les règles précédentes ont été transférées comme prévu.
Les nouveaux domaines reçoivent des paramètres recommandés différents
Cloudflare Il propose désormais des paramètres recommandés différents pour les sites Web financés par la publicité et ceux qui ne le sont pas.
L'exploration des moteurs de recherche reste autorisée dans les deux configurations. Cloudflare Il est recommandé de désactiver l'entraînement de l'IA et de bloquer les pages contenant des publicités pour les nouveaux domaines générant des revenus publicitaires. Les nouveaux domaines sans publicité bénéficient initialement de paramètres d'entraînement et d'agent plus permissifs.
Ces préréglages sont des recommandations et non des restrictions permanentes. Les clients peuvent modifier chaque catégorie de robot d'exploration lors de leur intégration ou via l'interface d'administration. Cloudflare tableau de bord.
La prise en charge des chenilles varie toujours selon l'opérateur.
Les opérateurs de robots d'exploration utilisent différents mécanismes pour traiter les préférences des éditeurs. Google prend en charge le Google-Extended Jeton robots.txt pour les commandes d'entraînement de l'IA. Apple l'utilise Applebot-Extended, tandis que Microsoft fournit actuellement des contrôles tels que NOARCHIVE directive et outils pour webmasters Bing.
Cloudflare Google affirme que les options de désactivation de la formation proposées par Google et Apple n'affectent pas le classement dans les résultats de recherche traditionnels. Microsoft travaille à une prise en charge plus étendue du fichier robots.txt au niveau du domaine. Cloudflare L'objectif est une sortie début 2027.
Le nouveau système d’ Cloudflare Ces outils de contrôle facilitent la gestion des robots d'exploration, mais ne créent pas de norme universelle. Chaque opérateur conserve la liberté d'interpréter et d'appliquer les préférences des éditeurs.
HostScore'pieu
Les propriétaires de sites web devraient cesser de considérer tous les robots d'exploration IA comme une seule et même catégorie. L'indexation par les moteurs de recherche, l'entraînement des modèles et les visites d'agents à l'initiative de l'utilisateur présentent des avantages et des risques différents. Bloquer complètement un robot d'exploration peut certes protéger le contenu contre une utilisation, mais priver le site d'un canal de découverte précieux.
Ce risque est maximal avec les robots d'exploration à usage mixte, car un seul agent utilisateur peut prendre en charge plusieurs services. Pour les éditeurs exploitant des sites web de contenu, il est conseillé de vérifier les paramètres suivants :
- Cloudflare Recherche, formation et contrôle des agents.
- Règles existantes dans le fichier robots.txt.
- Directives étendues pour Google et Applebot.
- Options d'indexation et de contrôle de l'IA disponibles chez Bing.
- Activité de reptation dans Cloudflare analyses et journaux du serveur.
- Modifications d'indexation dans Google Search Console et Bing Webmaster Tools.
CloudflareCette modification offre un meilleur contrôle, mais la configuration optimale dépend du modèle économique du site web. Un éditeur financé par la publicité peut imposer des restrictions plus strictes aux agents d'IA qu'une entreprise souhaitant que sa documentation soit citée dans les réponses générées par l'IA.
La méthode la plus efficace consiste à définir des politiques distinctes pour la recherche, l'entraînement et l'accès des agents, puis à vérifier le comportement réel du robot d'exploration. Un simple paramétrage du tableau de bord ne permet pas de savoir si un site web reste visible sur les moteurs de recherche et les plateformes d'IA.
