Cloudflare ha introdotto controlli separati per la scansione dei motori di ricerca, l'addestramento dell'IA e gli agenti IA controllati dagli utenti. Questa modifica consente ai proprietari dei siti web di comunicare che i loro contenuti non devono essere utilizzati per l'addestramento dell'IA, senza bloccare automaticamente i crawler partecipanti dall'indicizzazione tradizionale dei motori di ricerca.
Questa distinzione è importante perché i bot basati sull'intelligenza artificiale più diffusi, come Googlebot, Bingbot e Applebot, svolgono più di una funzione. Bloccare completamente questi crawler multifunzionali può influire sia sull'accesso all'IA che sulla visibilità nei risultati di ricerca.
Cloudflare Distingue tre tipi di attività dei bruchi
Cloudflare ora classifica l'attività dei crawler in base a tre controlli:
- Cerca copre le tecniche di crawling utilizzate per costruire un indice di ricerca tradizionale.
- Formazione copre le tecniche di crawling utilizzate per addestrare o perfezionare un modello di intelligenza artificiale.
- Agente descrive un agente di intelligenza artificiale che visita una pagina per conto di un utente.
Un crawler può rientrare in più di una categoria. Googlebot, ad esempio, supporta la tradizionale Ricerca Google, mentre Google gestisce anche servizi basati sull'intelligenza artificiale.
Cloudflare È stata introdotta un'impostazione "Impedisci l'addestramento dell'IA" per questa situazione. Tale impostazione consente a un crawler responsabile di continuare ad accedere al sito per la ricerca, comunicando al contempo che il contenuto non deve essere utilizzato per l'addestramento del modello.
Apple, Google e Microsoft hanno fornito o si sono impegnati a fornire meccanismi per rispettare le preferenze separate di ricerca e formazione, secondo quanto riportato Cloudflare annuncio (screenshot qui sotto).
Il blocco completo può influire sulla visibilità della ricerca tradizionale
CloudflareLe impostazioni "Blocca" e "Blocca sulle pagine con annunci" ora si applicano ai crawler a uso misto, inclusi Applebot, Bingbot e Googlebot. La selezione di una di queste opzioni può influire sia sulla scansione dei risultati di ricerca che sulle attività legate all'intelligenza artificiale.
I proprietari di siti web che desiderano rimanere indicizzati non dovrebbero utilizzare l'impostazione di blocco completa semplicemente perché si oppongono all'addestramento dell'IA. Cloudflare Si consiglia di utilizzare Disallow AI Training quando l'obiettivo è preservare l'accesso alla ricerca pur disattivando l'addestramento.
Cloudflare Sta inoltre sostituendo l'etichetta più generica "Blocca i bot AI" con controlli separati per Ricerca, Addestramento e Agente. Il file Robots.txt gestito viene sostituito da Bot Preference Sync, che comunica le selezioni del proprietario del sito web tramite direttive crawler supportate.
Esistente Cloudflare Le impostazioni sono in fase di migrazione.
Cloudflare L'azienda afferma che la maggior parte dei clienti esistenti non ha bisogno di intraprendere azioni immediate perché le loro preferenze attuali verranno migrate automaticamente.
Un dominio che utilizza la precedente impostazione di Blocco AI passerà generalmente alla seguente configurazione:
- La ricerca rimane consentita.
- L'addestramento dell'IA non è consentito.
- L'accesso dell'agente è bloccato sulle pagine contenenti annunci pubblicitari.
Domini che già utilizzano CloudflareI controlli granulari manterranno l'effetto pratico delle selezioni esistenti. Le precedenti impostazioni di addestramento di Blocca o Blocca sulle pagine con annunci verranno spostate su Non consentire l'addestramento AI.
I proprietari dei siti web possono comunque modificare queste impostazioni anche dopo la migrazione. Le aziende che dipendono fortemente dalla ricerca organica dovrebbero esaminare la configurazione risultante anziché dare per scontato che tutte le regole precedenti siano state trasferite come previsto.
I nuovi domini ricevono impostazioni consigliate diverse
Cloudflare Ora offre impostazioni consigliate diverse per i siti web che includono pubblicità e per quelli che non la includono.
La scansione tramite ricerca rimane consentita in entrambe le configurazioni. Cloudflare Si consiglia di disabilitare l'addestramento dell'IA e di bloccare le pagine con annunci pubblicitari per i nuovi domini che generano entrate pubblicitarie. Ai nuovi domini senza pubblicità vengono inizialmente offerte impostazioni di addestramento e agente più permissive.
Questi preset sono raccomandazioni piuttosto che restrizioni permanenti. I clienti possono modificare ogni categoria di crawler durante l'onboarding o tramite il Cloudflare cruscotto.
Il supporto per i crawler varia ancora a seconda dell'operatore.
Gli operatori di crawler utilizzano meccanismi diversi per elaborare le preferenze degli editori. Google supporta il Google-Extended Token robots.txt per i controlli di addestramento dell'IA. Apple utilizza Applebot-Extended, mentre Microsoft attualmente fornisce controlli come il NOARCHIVE direttiva e Bing Webmaster Tools.
Cloudflare afferma che le opzioni di disattivazione della formazione di Google e Apple non influiscono sul posizionamento tradizionale nei risultati di ricerca. Microsoft sta lavorando per un supporto più ampio a livello di dominio per robots.txt, che Cloudflare Si prevede che il lancio avverrà all'inizio del 2027.
La nuova Cloudflare I controlli semplificano la gestione dei crawler, ma non creano uno standard universale. Ogni operatore continua a controllare come interpreta e implementa le preferenze degli editori.
HostScore'palo
I proprietari di siti web dovrebbero smettere di considerare tutti i crawler basati sull'intelligenza artificiale come un'unica categoria. L'indicizzazione dei motori di ricerca, l'addestramento dei modelli e le visite degli agenti dirette dagli utenti comportano vantaggi e rischi diversi. Un blocco completo dei crawler può proteggere i contenuti da un determinato utilizzo, ma al contempo escludere il sito da un prezioso canale di scoperta.
Questo rischio è massimo con i crawler a uso misto, poiché un singolo user agent può supportare diversi servizi. Per gli editori che gestiscono siti web di contenuti, si consiglia di esaminare le seguenti impostazioni:
- Cloudflare Controlli di ricerca, addestramento e agente.
- Regole esistenti nel file robots.txt.
- Direttive Google-Extended e Applebot-Extended.
- Le funzionalità di indicizzazione e i controlli basati sull'intelligenza artificiale disponibili in Bing.
- Attività strisciante in Cloudflare analisi e log del server.
- Modifiche all'indicizzazione in Google Search Console e Bing Webmaster Tools.
CloudflareLa modifica apportata offre un maggiore controllo, ma la configurazione ideale dipende dal modello di business del sito web. Un editore finanziato dalla pubblicità potrebbe limitare maggiormente gli agenti di intelligenza artificiale rispetto a un'azienda che desidera che la propria documentazione venga citata nelle risposte generate dall'IA.
L'approccio più efficace consiste nell'impostare policy separate per la ricerca, l'addestramento e l'accesso degli agenti, per poi verificare il comportamento effettivo dei crawler. Una semplice impostazione nella dashboard non è sufficiente a dimostrare se un sito web rimane visibile sui motori di ricerca e sulle piattaforme di intelligenza artificiale.
