Cloudflare ha annunciato una nuova funzionalità chiamata "Pay Per Crawl", che consente ai proprietari di siti web di addebitare ai crawler AI l'accesso ai propri contenuti.
Si tratta della prima implementazione su larga scala del codice di risposta HTTP 402 Payment Required, uno standard a lungo inutilizzato, che offre a editori e creatori un maggiore controllo su come e quando i modelli di intelligenza artificiale possono indicizzare o addestrare il proprio lavoro.
Che cosa è il pagamento per scansione?
Oggi molti proprietari di contenuti si trovano di fronte a una decisione binaria: bloccare completamente i crawler AI o consentire loro un accesso illimitato e gratuito. CloudflareIl nuovo sistema introduce una terza opzione: addebitare i crawler in base alla richiesta utilizzando un meccanismo di fatturazione e verifica integrato.
Con Pay Per Crawl, i proprietari di contenuti che utilizzano Cloudflare può:
- Carica i crawler AI su richiesta
- Blocca o consenti crawler specifici secondo necessità
- Utilizzare motore basato su regole per controllare i prezzi e l'accesso in base alle politiche bot/WAF esistenti
La funzionalità è attualmente in versione beta privata, ma segnala uno spostamento verso un web più monetizzabile e basato sui permessi, soprattutto nel contesto dello scraping generativo tramite intelligenza artificiale.
Come funziona
I crawler AI devono autenticarsi con Cloudflare utilizzando lo standard Web Bot Auth, un metodo che verifica l'identità di un crawler utilizzando intestazioni HTTP firmate e crittografia a chiave pubblica.
Quando un crawler accede al contenuto:
- Se include un intento di pagamento, il contenuto viene servito (HTTP 200 OK).
- In caso contrario, il server risponde con HTTP 402 Pagamento richiesto, insieme al prezzo.
- Gli editori possono definire una tariffa fissa o evitare la tariffa per bot specifici.
- Le transazioni finanziarie sono gestite da Cloudflare in qualità di commerciante di riferimento.
Ciò significa che anche se un'azienda di intelligenza artificiale non ha mai avuto alcun rapporto precedente con un editore, ora può vedersi addebitare un costo per l'accesso o bloccarla programmaticamente con un invito a pagare.
La nostra opinione: la partita più importante e perché è importante
A cosa serve questo? Cloudflare?
Da quello che vediamo, Cloudflare non sta solo risolvendo un problema degli editori, ma sta anche gettando le basi per un livello di licenza web programmabile che potrebbe rimodellare l'economia dell'intelligenza artificiale, della ricerca e persino degli assistenti personali.
Su larga scala, Pay Per Crawl potrebbe:
- Standardizzare i prezzi dei contenuti digitali su milioni di domini
- Creare un mercato di licenze in tempo reale per agenti e scraper di intelligenza artificiale
- Consentire ai proprietari di siti web di monetizzare selettivamente diversi tipi di contenuti (ad esempio recensioni, ricerche, forum)
A lungo termine, questa posizione Cloudflare come livello di compensazione per le interazioni macchina-contenuto, con fatturazione, identità e applicazione delle regole gestite all'edge. Se gli agenti intelligenti diventano dominanti nel modo in cui gli utenti fruiscono del web (tramite Siri, ChatGPT, o strumenti di intelligenza artificiale verticale), Cloudflare potrebbe diventare il casello autostradale predefinito che regola l'accesso, la conformità e la monetizzazione.
Perché è importante per l'hosting e gli editori
Questa mossa è particolarmente rilevante per le redazioni, i blog, i forum e i siti di recensioni di hosting come HostScore.net – tutti prodotti che producono contenuti originali e di alto valore, spesso elaborati da modelli di intelligenza artificiale.
Finora, gli accordi di licenza tra editori e sviluppatori di intelligenza artificiale erano una tantum, difficili da scalare e accessibili solo ai grandi gruppi media. Pay Per Crawl consente a qualsiasi proprietario di dominio di stabilire i prezzi per i crawler e potenzialmente generare ricavi quando i sistemi di intelligenza artificiale utilizzano i loro contenuti per l'addestramento o l'inferenza.
Per lo spazio di hosting, solleva anche questioni strategiche:
- I provider di hosting dovrebbero supportare le funzionalità Pay Per Crawl nelle loro dashboard?
- I limiti di larghezza di banda o di scansione diventeranno un fattore da tenere in considerazione nella scelta di un web host?
- Potrebbe fissare i prezzi APIs e gli schemi dei metadati si evolvono per supportare le licenze di accesso all'IA dinamica?
CloudflareL'implementazione di potrebbe gettare le basi per standard di monetizzazione più ampi sul web aperto, non solo per la formazione dell'intelligenza artificiale, ma anche per future applicazioni agentive che consumano contenuti per conto degli utenti finali.
Chi può usare Cloudflare 'Pagamento per scansione'?
La funzionalità è attualmente disponibile in versione beta privata. Cloudflare è invitante:
- Gli operatori di crawler AI sono disposti a pagare per l'accesso ai contenuti
- Editori e creatori di contenuti che desiderano addebitare l'accesso
Gli interessati possono presentare domanda tramite cloudflare.com/paypercrawl-signup.
