Cloudflare hat eine neue Funktion namens „Pay Per Crawl“ angekündigt, die es Websitebesitzern ermöglicht, KI-Crawlern den Zugriff auf ihre Inhalte in Rechnung zu stellen.
Dies ist die erste groß angelegte Implementierung des HTTP-Antwortcodes 402 „Zahlung erforderlich“, eines lange nicht verwendeten Standards, der Herausgebern und Entwicklern mehr Kontrolle darüber gibt, wie und wann KI-Modelle ihre Arbeit indizieren oder trainieren können.
Was ist Pay-per-Crawl?
Viele Inhaltseigentümer stehen heute vor einer binären Entscheidung: KI-Crawler entweder vollständig blockieren oder ihnen unbegrenzten und kostenlosen Zugriff gewähren. CloudflareDas neue System von führt eine dritte Option ein: die Abrechnung von Crawlern pro Anfrage mithilfe eines integrierten Abrechnungs- und Überprüfungsmechanismus.
Mit Pay Per Crawl können Inhaltseigentümer Cloudflare können:
- Laden Sie KI-Crawler auf auf Anfragebasis
- Blockieren oder zulassen spezifische Crawler nach Bedarf
- Verwenden regelbasierte Engine zur Steuerung von Preisen und Zugriff nach bestehenden Bot/WAF-Richtlinien
Die Funktion befindet sich derzeit in der privaten Betaphase, signalisiert jedoch eine Verlagerung hin zu einem stärker monetarisierbaren und genehmigungsbasierten Web, insbesondere im Kontext des generativen KI-Scrapings.
Funktionsweise
KI-Crawler müssen sich authentifizieren mit Cloudflare unter Verwendung des Web Bot Auth-Standards, einer Methode, die die Identität eines Crawlers mithilfe signierter HTTP-Header und Public-Key-Kryptografie überprüft.
Wenn ein Crawler auf Inhalte zugreift:
- Wenn eine Zahlungsabsicht enthalten ist, wird der Inhalt bereitgestellt (HTTP 200 OK).
- Ist dies nicht der Fall, antwortet der Server mit „HTTP 402 Zahlung erforderlich“ und nennt einen Preis.
- Publisher können eine Pauschale festlegen oder die Gebühr für bestimmte Bots umgehen.
- Finanztransaktionen werden abgewickelt von Cloudflare als eingetragener Händler.
Dies bedeutet, dass ein KI-Unternehmen, selbst wenn es noch keine Beziehung zu einem Herausgeber hat, nun für den Zugriff Gebühren verlangen oder diesen programmgesteuert mit einer Zahlungsaufforderung sperren kann.
Unsere Meinung: Das größere Spiel und warum es wichtig ist
Was ist drin? Cloudflare?
Nach allem, was wir sehen, Cloudflare löst nicht nur ein Problem der Herausgeber, sondern legt auch den Grundstein für eine programmierbare Web-Lizenzierungsebene, die die Wirtschaftlichkeit von KI, Suche und sogar persönlichen Assistenten neu gestalten könnte.
Im großen Maßstab könnte Pay Per Crawl:
- Standardisieren Sie die Preisgestaltung für digitale Inhalte über Millionen von Domänen hinweg
- Erstellen Sie einen Echtzeit-Lizenzmarktplatz für KI-Agenten und Scraper
- Ermöglichen Sie Websitebesitzern, gezielt verschiedene Inhaltstypen (z. B. Rezensionen, Recherchen, Foren) zu monetarisieren.
Auf lange Sicht positioniert sich diese Cloudflare als Clearing-Layer für Machine-to-Content-Interaktionen mit Abrechnung, Identität und Regeldurchsetzung am Edge. Wenn intelligente Agenten die Webnutzung der Nutzer dominieren (über Siri, ChatGPT, oder vertikale KI-Tools), Cloudflare könnte zur Standard-Mautstelle werden, die Zugang, Compliance und Monetarisierung regelt.
Warum es für Hosting und Publisher wichtig ist
Dieser Schritt ist besonders relevant für Nachrichtenredaktionen, Blogs, Foren und Hosting-Bewertungsseiten wie HostScore.net – all diese produzieren hochwertige, originelle Inhalte, die häufig von KI-Modellen ausgelesen werden.
Bisher waren Lizenzvereinbarungen zwischen Verlagen und KI-Entwicklern einmalig, schwer skalierbar und nur großen Medienkonzernen vorbehalten. Pay-per-Crawl ermöglicht es jedem Domaininhaber, Preise für Crawler festzulegen und potenziell Einnahmen zu erzielen, wenn KI-Systeme deren Inhalte für Training oder Inferenz nutzen.
Für den Hosting-Bereich wirft dies auch strategische Fragen auf:
- Sollten Hosting-Anbieter Pay-per-Crawl-Funktionen in ihren Dashboards unterstützen?
- Werden Bandbreiten- oder Crawling-Beschränkungen bei der Auswahl eines Webhosts eine Rolle spielen?
- Könnte die Preisgestaltung APIs und Metadatenschemata entwickeln sich weiter, um dynamische KI-Zugriffslizenzen zu unterstützen?
CloudflareDie Implementierung von könnte den Grundstein für umfassendere Monetarisierungsstandards im offenen Web legen – nicht nur für das KI-Training, sondern auch für zukünftige Agentenanwendungen, die Inhalte im Auftrag der Endbenutzer nutzen.
Wer kann verwenden Cloudflare „Pro Crawl bezahlen“?
Die Funktion ist derzeit in der privaten Betaversion verfügbar. Cloudflare lädt ein:
- KI-Crawler-Betreiber sind bereit, für den Zugriff auf Inhalte zu zahlen
- Verlage und Inhaltsersteller, die für den Zugriff Gebühren erheben möchten
Interessenten können sich bewerben über cloudflare.com/paypercrawl-signup.
