Cloudflare hat separate Steuerungsmöglichkeiten für Suchmaschinen-Crawling, KI-Training und nutzergesteuerte KI-Agenten eingeführt. Diese Änderung ermöglicht es Website-Betreibern, mitzuteilen, dass ihre Inhalte nicht für das KI-Training verwendet werden sollen, ohne dass teilnehmende Crawler automatisch von der herkömmlichen Suchindexierung ausgeschlossen werden.
Diese Unterscheidung ist wichtig, da beliebte KI-Bots wie Googlebot, Bingbot und Applebot mehrere Funktionen erfüllen. Die vollständige Blockierung dieser Crawler mit Mehrfachnutzung kann sowohl den KI-Zugriff als auch die Sichtbarkeit in den Suchergebnissen beeinträchtigen.
Cloudflare Unterscheidet drei Arten von Kriechaktivität
Cloudflare Die Crawler-Aktivität wird nun in drei Kategorien eingeteilt:
- Suche umfasst das Crawling, das zum Aufbau eines herkömmlichen Suchindex verwendet wird.
- Training Beinhaltet Crawling, das zum Trainieren oder Feinabstimmen eines KI-Modells verwendet wird.
- Makler umfasst einen KI-Agenten, der im Auftrag eines Benutzers eine Seite aufruft.
Ein Crawler kann in mehr als eine Kategorie fallen. Googlebot beispielsweise unterstützt die traditionelle Google-Suche, während Google auch KI-bezogene Dienste betreibt.
Cloudflare Für diesen Fall wurde die Einstellung „KI-Training deaktivieren“ eingeführt. Diese Einstellung ermöglicht es einem verantwortlichen Crawler, weiterhin auf die Website für Suchzwecke zuzugreifen, signalisiert aber gleichzeitig, dass die Inhalte nicht für das Modelltraining verwendet werden sollen.
Apple, Google und Microsoft haben laut [Quelle einfügen] Mechanismen bereitgestellt oder sich dazu verpflichtet, um unterschiedliche Such- und Trainingspräferenzen zu berücksichtigen. Cloudflare Ankündigung (Screenshot unten).
Vollständige Blockierung kann die Sichtbarkeit in herkömmlichen Suchergebnissen beeinträchtigen
CloudflareDie Einstellungen „Blockieren“ und „Auf Seiten mit Werbung blockieren“ gelten nun für gemischte Crawler, einschließlich Applebot, Bingbot und Googlebot. Die Auswahl einer dieser Optionen kann sich sowohl auf das Crawling der Suche als auch auf KI-bezogene Aktivitäten auswirken.
Website-Betreiber, die weiterhin indexiert bleiben möchten, sollten nicht die vollständige Blockierungseinstellung verwenden, nur weil sie KI-Training ablehnen. Cloudflare empfiehlt die Verwendung von Disallow AI Training, wenn das Ziel darin besteht, den Suchzugriff aufrechtzuerhalten, aber gleichzeitig das Training zu deaktivieren.
Cloudflare Die allgemeinere Bezeichnung „KI-Bots blockieren“ wird durch separate Steuerelemente für Suche, Training und Agenten ersetzt. Die verwaltete robots.txt-Datei wird durch die Bot-Präferenzsynchronisierung ersetzt, die die Auswahl des Website-Betreibers über unterstützte Crawler-Anweisungen übermittelt.
Vorhanden Cloudflare Die Einstellungen werden migriert.
Cloudflare Laut Aussage des Unternehmens müssen die meisten Bestandskunden keine sofortigen Maßnahmen ergreifen, da ihre aktuellen Einstellungen automatisch übernommen werden.
Eine Domäne, die die vorherige Block-AI-Einstellung verwendet, wird im Allgemeinen auf die folgende Konfiguration umgestellt:
- Die Suche ist weiterhin erlaubt.
- KI-Training ist nicht zulässig.
- Der Agentenzugriff ist auf Seiten mit Werbung gesperrt.
Domains, die bereits verwenden CloudflareDie detaillierten Steuerungsmöglichkeiten behalten ihre praktische Wirkung. Bisherige Trainingseinstellungen wie „Blockieren“ oder „Auf Seiten mit Werbung blockieren“ werden auf „KI-Training deaktivieren“ geändert.
Website-Betreiber können diese Einstellungen auch nach der Migration noch ändern. Unternehmen, die stark auf organische Suchergebnisse angewiesen sind, sollten die resultierende Konfiguration überprüfen, anstatt davon auszugehen, dass alle vorherigen Regeln wie gewünscht übernommen wurden.
Neue Domains erhalten unterschiedliche empfohlene Einstellungen
Cloudflare bietet nun unterschiedliche empfohlene Einstellungen für werbefinanzierte und nicht werbefinanzierte Websites.
Das Crawling von Suchfunktionen bleibt in beiden Konfigurationen erlaubt. Cloudflare Es wird empfohlen, das KI-Training zu deaktivieren und Seiten mit Werbung für neue Domains, die Werbeeinnahmen generieren, zu blockieren. Neuen Domains ohne Werbung werden anfänglich weniger strenge Trainings- und Agenteneinstellungen angeboten.
Diese Voreinstellungen sind Empfehlungen und keine dauerhaften Einschränkungen. Kunden können die einzelnen Crawler-Kategorien während des Onboardings oder über die entsprechende Funktion ändern. Cloudflare Instrumententafel.
Die Unterstützung für Raupenfahrzeuge variiert weiterhin je nach Betreiber.
Crawler-Betreiber verwenden unterschiedliche Mechanismen zur Verarbeitung von Publisher-Präferenzen. Google unterstützt die Google-Extended robots.txt-Token für KI-Trainingssteuerung. Apple verwendet ihn. Applebot-ExtendedMicrosoft bietet derzeit zwar Steuerelemente wie die NOARCHIVE Direktive und Bing Webmaster Tools.
Cloudflare Google und Apple geben an, dass ihre Opt-out-Optionen für das Suchmaschinen-Training keinen Einfluss auf das traditionelle Suchmaschinenranking haben. Microsoft arbeitet an einer umfassenderen Unterstützung für robots.txt-Dateien auf Domainebene. Cloudflare Angeblich ist dies für Anfang 2027 geplant.
The new Cloudflare Die Steuerungselemente erleichtern zwar die Crawler-Verwaltung, schaffen aber keinen einheitlichen Standard. Jeder Betreiber bestimmt weiterhin selbst, wie er die Präferenzen der Herausgeber interpretiert und umsetzt.
HostScore'Einsatz
Website-Betreiber sollten nicht länger alle KI-Crawler über einen Kamm scheren. Suchindexierung, Modelltraining und nutzergesteuerte Crawler-Besuche bergen unterschiedliche Vorteile und Risiken. Eine vollständige Blockierung von Crawlern kann zwar Inhalte vor einer bestimmten Nutzung schützen, gleichzeitig aber die Website von einem wichtigen Auffindbarkeitskanal ausschließen.
Dieses Risiko ist bei Crawlern mit gemischter Nutzung am höchsten, da ein User-Agent mehrere Dienste unterstützen kann. Für Herausgeber von Content-Websites empfiehlt sich die Überprüfung der folgenden Einstellungen:
- Cloudflare Such-, Schulungs- und Agentensteuerung.
- Vorhandene robots.txt-Regeln.
- Google-Extended- und Applebot-Extended-Direktiven.
- Die von Bing verfügbaren Indexierungs- und KI-Steuerelemente.
- Kriechaktivität in Cloudflare Analysedaten und Serverprotokolle.
- Änderungen der Indexierung in der Google Search Console und den Bing Webmaster Tools.
CloudflareDie Änderung bietet mehr Kontrolle, doch die richtige Konfiguration hängt vom Geschäftsmodell der Website ab. Ein werbefinanzierter Verlag wird KI-Agenten möglicherweise stärker einschränken als ein Unternehmen, das möchte, dass seine Dokumentation in KI-generierten Antworten zitiert wird.
Ein sinnvoller Ansatz besteht darin, separate Richtlinien für Suche, Training und Agentenzugriff festzulegen und anschließend das tatsächliche Verhalten des Crawlers zu überprüfen. Eine Dashboard-Einstellung allein zeigt nicht an, ob eine Website weiterhin für Suchmaschinen und KI-Plattformen sichtbar ist.
