Cloudflare a annoncé une nouvelle fonctionnalité appelée « Pay Per Crawl », permettant aux propriétaires de sites Web de facturer les robots d'exploration IA pour l'accès à leur contenu.
Il s'agit de la première mise en œuvre à grande échelle du code de réponse HTTP 402 Paiement requis, une norme longtemps inutilisée, donnant aux éditeurs et aux créateurs plus de contrôle sur la manière et le moment où les modèles d'IA peuvent indexer ou s'entraîner sur leur travail.
Qu'est-ce que le paiement par crawl ?
Aujourd’hui, de nombreux propriétaires de contenu sont confrontés à une décision binaire : bloquer complètement les robots d’exploration de l’IA ou leur autoriser un accès illimité gratuitement. CloudflareLe nouveau système introduit une troisième option : facturer les robots d'exploration par requête à l'aide d'un mécanisme de facturation et de vérification intégré.
Avec Pay Per Crawl, les propriétaires de contenu utilisant Cloudflare pouvez:
- Charger les robots d'exploration de l'IA sur demande
- Bloquer ou autoriser robots d'exploration spécifiques selon les besoins
- Utiliser un moteur basé sur des règles pour contrôler les prix et l'accès après les politiques bot/WAF existantes
La fonctionnalité est actuellement en version bêta privée, mais signale une évolution vers un Web plus monétisable et basé sur les autorisations, en particulier dans le contexte du scraping génératif de l'IA.
Fonctionnement
Les robots d'exploration de l'IA doivent s'authentifier avec Cloudflare en utilisant la norme Web Bot Auth, une méthode qui vérifie l'identité d'un robot à l'aide d'en-têtes HTTP signés et d'une cryptographie à clé publique.
Lorsqu'un robot accède au contenu :
- S'il inclut une intention de paiement, le contenu est diffusé (HTTP 200 OK).
- Si ce n'est pas le cas, le serveur répond avec HTTP 402 Paiement requis, accompagné d'un prix.
- Les éditeurs peuvent définir un tarif forfaitaire ou contourner les frais pour des robots spécifiques.
- Les transactions financières sont traitées par Cloudflare en tant que commerçant officiel.
Cela signifie que même si une entreprise d'IA n'a aucune relation préalable avec un éditeur, elle peut désormais se voir facturer l'accès ou être bloquée par programmation avec une invitation à payer.
Notre point de vue : Le jeu plus grand et son importance
À quoi ça sert Cloudflare?
D'après ce que nous voyons, Cloudflare Il ne s'agit pas seulement de résoudre un problème d'éditeur : il s'agit également de jeter les bases d'une couche de licence Web programmable qui pourrait remodeler l'économie de l'IA, de la recherche et même des assistants personnels.
À grande échelle, Pay Per Crawl pourrait :
- Normaliser la tarification du contenu numérique sur des millions de domaines
- Créer un marché de licences en temps réel pour les agents et les scrapers d'IA
- Permettre aux propriétaires de sites Web de monétiser de manière sélective différents types de contenu (par exemple, critiques, recherches, forums)
À long terme, cela positionne Cloudflare Comme couche de compensation pour les interactions machine-contenu, la facturation, l'identité et l'application des règles étant gérées en périphérie. Si les agents intelligents deviennent dominants dans la façon dont les utilisateurs consomment le web (via Siri, ChatGPT, ou outils d'IA verticaux), Cloudflare pourrait devenir le poste de péage par défaut qui régit l’accès, la conformité et la monétisation.
Pourquoi c'est important pour les hébergeurs et les éditeurs
Cette démarche est particulièrement pertinente pour les salles de rédaction, les blogs, les forums et les sites d’évaluation d’hébergement comme HostScore.net – qui produisent tous du contenu original de grande valeur, fréquemment récupéré par des modèles d’IA.
Jusqu'à présent, les accords de licence entre éditeurs et développeurs d'IA étaient ponctuels, difficiles à déployer et réservés aux grands groupes médias. Le paiement à l'exploration permet à tout propriétaire de domaine de fixer le prix des robots d'exploration et de générer potentiellement des revenus lorsque les systèmes d'IA utilisent leur contenu à des fins d'entraînement ou d'inférence.
Pour l’espace d’hébergement, cela soulève également des questions stratégiques :
- Les fournisseurs d'hébergement devraient-ils prendre en charge les fonctionnalités Pay Per Crawl dans leurs tableaux de bord ?
- Les limites de bande passante ou d’exploration deviendront-elles un facteur dans le choix d’un hébergeur Web ?
- Pourrait-il y avoir des prix? APIs et les schémas de métadonnées évoluent pour prendre en charge les licences d'accès dynamiques à l'IA ?
CloudflareLa mise en œuvre de pourrait jeter les bases de normes de monétisation plus larges sur le Web ouvert – non seulement pour la formation de l’IA, mais également pour les futures applications agentiques qui consomment du contenu au nom des utilisateurs finaux.
Qui peut utiliser Cloudflare « Payer par exploration » ?
La fonctionnalité est actuellement disponible en version bêta privée. Cloudflare est invitant :
- Les opérateurs de robots d'exploration d'IA prêts à payer pour accéder au contenu
- Les éditeurs et les créateurs de contenu qui souhaitent facturer l'accès
Les parties intéressées peuvent postuler via cloudflare.com/paypercrawl-signup.
