Cloudflare Wprowadzono oddzielne kontrole dla indeksowania wyszukiwania, szkolenia AI i agentów AI sterowanych przez użytkownika. Zmiana pozwala właścicielom witryn zakomunikować, że ich treści nie powinny być wykorzystywane do szkolenia AI, bez automatycznego blokowania robotom indeksującym tradycyjnego indeksowania wyszukiwania.
To rozróżnienie ma znaczenie, ponieważ popularne boty AI, takie jak Googlebot, Bingbot i Applebot, pełnią więcej niż jedną funkcję. Całkowite zablokowanie tych robotów indeksujących o mieszanym przeznaczeniu może wpłynąć zarówno na dostęp AI, jak i na widoczność w wynikach wyszukiwania.
Cloudflare Oddziela trzy typy aktywności robota indeksującego
Cloudflare teraz klasyfikuje aktywność robota w ramach trzech kontroli:
- Szukaj obejmuje indeksowanie wykorzystywane do tworzenia tradycyjnego indeksu wyszukiwania.
- Szkolenia dotyczy indeksowania wykorzystywanego do trenowania lub dostrajania modelu sztucznej inteligencji.
- Agent dotyczy agenta AI odwiedzającego stronę w imieniu użytkownika.
Robot indeksujący może należeć do więcej niż jednej kategorii. Na przykład Googlebot obsługuje tradycyjną wyszukiwarkę Google, a Google obsługuje również usługi związane ze sztuczną inteligencją.
Cloudflare Wprowadzono ustawienie „Nie zezwalaj na szkolenie AI” na taką sytuację. Ustawienie to pozwala odpowiedzialnemu robotowi indeksującemu na kontynuowanie dostępu do witryny w celu przeszukania, jednocześnie informując, że treść nie powinna być wykorzystywana do szkolenia modelu.
Zgodnie z informacjami firmy Apple, Google i Microsoft zapewniły lub zobowiązały się do zapewnienia mechanizmów zapewniających przestrzeganie odrębnych preferencji wyszukiwania i szkolenia. Cloudflare ogłoszenie (zrzut ekranu poniżej).
Pełne blokowanie może mieć wpływ na widoczność w tradycyjnych wyszukiwarkach
CloudflareUstawienia „Blokuj” i „Blokuj na stronach z reklamami” dotyczą teraz robotów indeksujących o mieszanym przeznaczeniu, takich jak Applebot, Bingbot i Googlebot. Wybranie którejkolwiek z tych opcji może mieć wpływ na indeksowanie wyszukiwania, a także na aktywność związaną ze sztuczną inteligencją.
Właściciele witryn, którzy chcą pozostać zaindeksowani, nie powinni korzystać z ustawienia pełnego blokowania tylko dlatego, że nie zgadzają się na szkolenie sztucznej inteligencji. Cloudflare zaleca użycie opcji Disallow AI Training, jeśli celem jest zachowanie dostępu do wyszukiwania przy jednoczesnym wyłączeniu szkolenia.
Cloudflare Zastępuje również szerszą etykietę „Blokuj boty AI” oddzielnymi opcjami wyszukiwania, szkolenia i agenta. Plik Managed Robots.txt jest zastępowany przez Bot Preference Sync, który komunikuje wybory właściciela witryny za pośrednictwem obsługiwanych dyrektyw robota indeksującego.
Istniejący Cloudflare Ustawienia są migrowane
Cloudflare twierdzi, że większość obecnych klientów nie musi podejmować natychmiastowych działań, ponieważ ich obecne preferencje zostaną automatycznie przeniesione.
Domena korzystająca z poprzedniego ustawienia Block AI zostanie na ogół przeniesiona do następującej konfiguracji:
- Przeszukiwanie pozostaje dozwolone.
- Szkolenie sztucznej inteligencji jest niedozwolone.
- Dostęp agentów jest zablokowany na stronach z reklamami.
Domeny, które już korzystają CloudflareSzczegółowe ustawienia kontroli zachowają praktyczne efekty dotychczasowych wyborów. Poprzednie ustawienia „Blokuj” lub „Blokuj na stronach z reklamami” zostaną zastąpione ustawieniami „Nie zezwalaj na szkolenie AI”.
Właściciele witryn nadal mogą zmienić te ustawienia po migracji. Firmy, które w dużym stopniu polegają na wynikach wyszukiwania organicznego, powinny zweryfikować uzyskaną konfigurację, zamiast zakładać, że każda poprzednia reguła została przeniesiona zgodnie z oczekiwaniami.
Nowe domeny otrzymują różne zalecane ustawienia
Cloudflare teraz oferuje różne zalecane ustawienia dla witryn z reklamami i bez reklam.
Przeszukiwanie indeksowane jest nadal dozwolone w obu konfiguracjach. Cloudflare Zaleca ustawienie „Nie zezwalaj na szkolenie AI” i „Blokuj” na stronach z reklamami dla nowych domen generujących przychody z reklam. Nowym domenom bez reklam początkowo oferowane są bardziej liberalne ustawienia „Szkolenie” i „Agent”.
Te ustawienia wstępne stanowią raczej zalecenia niż stałe ograniczenia. Klienci mogą zmienić każdą kategorię robota podczas wdrażania lub za pośrednictwem Cloudflare deska rozdzielcza.
Wsparcie dla robotów indeksujących nadal różni się w zależności od operatora
Operatorzy robotów indeksujących wykorzystują różne mechanizmy do przetwarzania preferencji wydawców. Google wspiera Google-Extended Token robots.txt do sterowania treningiem sztucznej inteligencji. Apple używa Applebot-Extended, podczas gdy Microsoft obecnie zapewnia elementy sterujące, takie jak NOARCHIVE dyrektywa i narzędzia Bing Webmaster Tools.
Cloudflare twierdzi, że rezygnacja z udziału w szkoleniach Google i Apple nie wpływa na tradycyjne rankingi wyszukiwania. Microsoft pracuje nad szerszym wsparciem pliku robots.txt na poziomie domeny, co Cloudflare mówi, że jest to planowane na początek 2027 roku.
Nowa Cloudflare Kontrole ułatwiają zarządzanie robotami indeksującymi, ale nie tworzą jednego, uniwersalnego standardu. Każdy operator nadal kontroluje sposób, w jaki interpretuje i wdraża preferencje wydawcy.
HostScore'stawka
Właściciele witryn powinni przestać traktować wszystkie roboty indeksujące oparte na sztucznej inteligencji jako jedną kategorię. Indeksowanie wyszukiwania, trenowanie modeli i wizyty agentów kierowane przez użytkowników niosą ze sobą różne korzyści i zagrożenia. Całkowita blokada robota indeksującego może chronić treści przed jednym użyciem, jednocześnie usuwając witrynę z cennego kanału wyszukiwania.
Ryzyko to jest najwyższe w przypadku robotów indeksujących o mieszanym przeznaczeniu, ponieważ jeden agent użytkownika może obsługiwać kilka usług. Wydawcy prowadzący witryny z treściami powinni sprawdzić następujące ustawienia:
- Cloudflare Kontrola wyszukiwania, szkolenia i agentów.
- Istniejące reguły w pliku robots.txt.
- Dyrektywy Google-Extended i Applebot-Extended.
- Dostępne funkcje indeksowania i kontroli AI w usłudze Bing.
- Aktywność indeksowania w Cloudflare analityka i logi serwera.
- Zmiany w indeksowaniu w Google Search Console i Bing Webmaster Tools.
CloudflareZmiana zapewnia większą kontrolę, ale właściwa konfiguracja zależy od modelu biznesowego witryny. Wydawca finansowany z reklam może bardziej ograniczyć agentów AI niż firma, która chce, aby jej dokumentacja była cytowana w odpowiedziach generowanych przez AI.
Przydatnym podejściem jest ustawienie oddzielnych zasad dotyczących wyszukiwania, szkolenia i dostępu agentów, a następnie weryfikacja faktycznego działania robota indeksującego. Samo ustawienie pulpitu nawigacyjnego nie pokazuje, czy witryna pozostaje widoczna w wyszukiwarkach i na platformach AI.
