Cloudflare ogłosił nową funkcję o nazwie „Pay Per Crawl”, umożliwiającą właścicielom witryn pobieranie opłat od robotów AI za dostęp do ich treści.
Jest to pierwsza na szeroką skalę implementacja kodu odpowiedzi HTTP 402 Payment Required, od dawna nieużywanego standardu, który daje wydawcom i twórcom większą kontrolę nad tym, w jaki sposób i kiedy modele sztucznej inteligencji mogą indeksować lub trenować ich prace.
Czym jest Pay Per Crawl?
Właściciele wielu treści stają dziś przed wyborem: całkowicie zablokować roboty wykorzystujące sztuczną inteligencję czy pozwolić im na nieograniczony dostęp za darmo. CloudflareNowy system wprowadza trzecią opcję: naliczanie opłat robotom indeksującym za każde żądanie, korzystając z wbudowanego mechanizmu rozliczeń i weryfikacji.
Dzięki usłudze Pay Per Crawl właściciele treści korzystający z Cloudflare może:
- Ładowanie robotów AI na żądanie
- Zablokuj lub zezwól konkretne roboty indeksujące w razie potrzeby
- Użyj silnik oparty na regułach aby kontrolować ceny i dostęp po wprowadzeniu istniejących zasad dotyczących botów/WAF
Funkcja ta znajduje się obecnie w fazie prywatnej wersji beta, ale zwiastuje zmianę w kierunku sieci bardziej monetyzowanej i opartej na uprawnieniach, szczególnie w kontekście generatywnego scrapowania przy użyciu sztucznej inteligencji.
Jak to działa
Roboty AI muszą uwierzytelniać się za pomocą Cloudflare korzystając ze standardu Web Bot Auth, metody weryfikującej tożsamość robota przy użyciu podpisanych nagłówków HTTP i kryptografii klucza publicznego.
Gdy robot indeksujący uzyskuje dostęp do treści:
- Jeżeli zawiera intencję zapłaty, treść zostaje dostarczona (HTTP 200 OK).
- W przeciwnym razie serwer odpowiada kodem HTTP 402 „Wymagana płatność” wraz z ceną.
- Wydawcy mogą ustalić stałą stawkę lub pominąć opłatę za określone boty.
- Transakcje finansowe obsługiwane są przez Cloudflare jako sprzedawca oficjalny.
Oznacza to, że nawet jeśli firma zajmująca się sztuczną inteligencją nie miała wcześniej żadnych relacji z wydawcą, można ją teraz obciążyć opłatą za dostęp lub zablokować programowo, prosząc o zapłatę.
Naszym zdaniem: Większa gra i dlaczego to ważne
Co w tym jest? Cloudflare?
Z tego co widzimy, Cloudflare nie rozwiązuje tylko problemu wydawców – tworzy również podwaliny pod programowalną warstwę licencjonowania internetowego, która może zmienić ekonomię sztucznej inteligencji, wyszukiwania, a nawet asystentów osobistych.
W dużej skali usługa Pay Per Crawl może:
- Ujednolić ceny treści cyfrowych w milionach domen
- Utwórz działający w czasie rzeczywistym rynek licencji dla agentów i scraperów AI
- Umożliw właścicielom witryn selektywną monetyzację różnych typów treści (np. recenzji, badań, forów)
W dłuższej perspektywie to ma znaczenie Cloudflare jako warstwa rozliczeniowa dla interakcji maszyna-treść z rozliczeniami, tożsamością i egzekwowaniem reguł obsługiwanymi na brzegu sieci. Jeśli inteligentni agenci staną się dominującym elementem sposobu, w jaki użytkownicy korzystają z sieci (za pośrednictwem Siri, ChatGPTlub pionowe narzędzia AI), Cloudflare może stać się domyślnym punktem poboru opłat, regulującym dostęp, zgodność z przepisami i monetyzację.
Dlaczego ma to znaczenie dla hostingu i wydawców
Ten ruch jest szczególnie istotny dla redakcji, blogów, forów i witryn z recenzjami, takich jak HostScore.net – wszystkie z nich tworzą wartościową, oryginalną treść, często pozyskiwaną przez modele sztucznej inteligencji.
Do tej pory umowy licencyjne między wydawcami a twórcami sztucznej inteligencji były jednorazowe, trudne do skalowania i dostępne tylko dla dużych grup medialnych. Pay Per Crawl umożliwia każdemu właścicielowi domeny ustalanie cen dla robotów indeksujących i potencjalne generowanie przychodów, gdy systemy sztucznej inteligencji wykorzystują jego treści do szkolenia lub wnioskowania.
W kontekście przestrzeni hostingowej rodzi to również pytania strategiczne:
- Czy dostawcy usług hostingowych powinni obsługiwać funkcję Pay Per Crawl w swoich panelach?
- Czy przepustowość lub limity indeksowania będą miały wpływ na wybór usługodawcy hostingowego?
- Czy możliwe jest ustalenie cen? APIs a schematy metadanych ewoluują, aby obsługiwać dynamiczne licencjonowanie dostępu do sztucznej inteligencji?
CloudflareWdrożenie może położyć podwaliny pod szersze standardy monetyzacji w otwartej sieci – nie tylko w odniesieniu do szkolenia sztucznej inteligencji, ale także przyszłych aplikacji agentowych, które będą konsumować treści w imieniu użytkowników końcowych.
Kto może korzystać Cloudflare 'Płać za indeksowanie'?
Funkcja ta jest obecnie dostępna w wersji beta. Cloudflare zaprasza:
- Operatorzy robotów indeksujących AI są skłonni płacić za dostęp do treści
- Wydawcy i twórcy treści chcący pobierać opłaty za dostęp
Osoby zainteresowane mogą składać wnioski za pośrednictwem cloudflare.com/paypercrawl-signup.
