Cloudflare Введены отдельные механизмы управления для индексирования поисковыми системами, обучения ИИ и управляемых пользователем агентов ИИ. Это изменение позволяет владельцам веб-сайтов сообщать, что их контент не должен использоваться для обучения ИИ, без автоматической блокировки участвующих поисковых роботов от традиционного индексирования поисковыми системами.
Это различие важно, поскольку популярные боты с искусственным интеллектом, такие как Googlebot, Bingbot и Applebot, выполняют более одной функции. Полная блокировка этих универсальных поисковых роботов может повлиять как на доступ к ИИ, так и на видимость в поиске.
Cloudflare Разделяет на три типа активности ползающих насекомых
Cloudflare Теперь активность ползающих насекомых классифицируется по трем параметрам:
- Поиск Рассматривается процесс сканирования, используемый для создания традиционного поискового индекса.
- Обучение Рассматривается процесс сбора данных, используемый для обучения или тонкой настройки модели искусственного интеллекта.
- Агент описывает ситуацию, когда агент искусственного интеллекта посещает страницу от имени пользователя.
Поисковый робот может относиться к нескольким категориям одновременно. Например, Googlebot поддерживает традиционный поиск Google, а Google также предоставляет сервисы, связанные с искусственным интеллектом.
Cloudflare Для подобных ситуаций была введена настройка «Запретить обучение ИИ». Эта настройка позволяет ответственному поисковому роботу продолжать доступ к сайту для поиска, одновременно сообщая, что контент не должен использоваться для обучения модели.
По данным Apple, Google и Microsoft предоставили или обязались внедрить механизмы для учета отдельных предпочтений поиска и обучения. Cloudflare объявление (скриншот ниже).
Полная блокировка может повлиять на видимость в традиционном поиске.
CloudflareНастройки блокировки и блокировки страниц с рекламой теперь применяются к поисковым роботам смешанного назначения, включая Applebot, Bingbot и Googlebot. Выбор любого из этих вариантов может повлиять как на сканирование поисковых систем, так и на действия, связанные с искусственным интеллектом.
Владельцам веб-сайтов, желающим оставаться в индексе, не следует использовать полную настройку блокировки только потому, что они возражают против обучения искусственного интеллекта. Cloudflare Рекомендуется использовать функцию «Запретить обучение ИИ», если цель состоит в сохранении доступа к поиску при одновременном отказе от обучения.
Cloudflare Также заменяется более широкая метка «Блокировать ботов с искусственным интеллектом» отдельными элементами управления для поиска, обучения и агентов. Файл Managed Robots.txt заменяется функцией Bot Preference Sync, которая передает выбор владельца веб-сайта через поддерживаемые директивы для краулеров.
Существующий Cloudflare Настройки переносятся.
Cloudflare По словам большинства существующих клиентов, им не нужно предпринимать немедленных действий, поскольку их текущие предпочтения будут перенесены автоматически.
Домен, использующий предыдущую настройку Block AI, как правило, перейдет к следующей конфигурации:
- Обыск по-прежнему разрешен.
- Обучение ИИ запрещено.
- Доступ агентов к страницам с рекламой заблокирован.
Домены, которые уже используют CloudflareДетальные настройки сохранят практический эффект существующих параметров. Предыдущие настройки обучения, такие как «Блокировать» или «Блокировать на страницах с рекламой», будут изменены на «Запретить обучение ИИ».
Владельцы веб-сайтов по-прежнему могут изменять эти настройки после миграции. Компаниям, которые в значительной степени зависят от органического поиска, следует проверить полученную конфигурацию, а не предполагать, что все предыдущие правила были перенесены должным образом.
Для новых доменов предлагаются другие рекомендуемые настройки.
Cloudflare Теперь предлагаются различные рекомендуемые настройки для сайтов с рекламой и без рекламы.
Поисковое сканирование остается разрешенным в обеих конфигурациях. Cloudflare Рекомендуется запретить обучение ИИ и заблокировать страницы с рекламой для новых доменов, приносящих доход от рекламы. Новым доменам без рекламы изначально предлагаются более гибкие настройки обучения и агента.
Эти настройки являются рекомендациями, а не постоянными ограничениями. Клиенты могут изменить каждую категорию поисковых роботов во время регистрации или через интерфейс пользователя. Cloudflare панель приборов.
Поддержка гусеничных машин по-прежнему зависит от оператора.
Операторы веб-краулеров используют различные механизмы для обработки предпочтений издателей. Google поддерживает Google-Extended Токен robots.txt используется для управления процессом обучения ИИ. Apple использует его. Applebot-Extendedв то время как Microsoft в настоящее время предоставляет такие средства контроля, как NOARCHIVE директива и инструменты Bing для веб-мастеров.
Cloudflare По словам представителей Google и Apple, отказ от участия в программе обучения не влияет на традиционное ранжирование в поисковой выдаче. Microsoft работает над расширением поддержки robots.txt на уровне домена, что Cloudflare По словам представителей компании, запуск запланирован на начало 2027 года.
Новый Cloudflare Эти механизмы упрощают управление поисковыми роботами, но не создают единого универсального стандарта. Каждый оператор по-прежнему контролирует, как он интерпретирует и реализует предпочтения издателя.
HostScoreВзять
Владельцам веб-сайтов следует перестать рассматривать все ИИ-краулеры как одну категорию. Индексирование в поисковых системах, обучение моделей и посещения сайтов агентами, управляемыми пользователями, создают разные преимущества и риски. Полная блокировка краулеров может защитить контент от одного использования, одновременно исключая сайт из ценного канала обнаружения.
Наибольший риск возникает при использовании поисковых роботов смешанного назначения, поскольку один пользовательский агент может поддерживать несколько сервисов. Издателям, управляющим контентными веб-сайтами, следует проверить следующие настройки:
- Cloudflare Поиск, обучение и управление агентами.
- Существующие правила robots.txt.
- Директивы Google-Extended и Applebot-Extended.
- Доступные в Bing инструменты индексирования и искусственного интеллекта.
- Ползательная активность в Cloudflare Аналитика и журналы сервера.
- Изменения в индексации в Google Search Console и Bing Webmaster Tools.
CloudflareИзменения обеспечивают больший контроль, но правильная конфигурация зависит от бизнес-модели веб-сайта. Издатель, финансируемый за счет рекламы, может ограничивать работу ИИ-агентов сильнее, чем компания, которая хочет, чтобы ее документация цитировалась в ответах, сгенерированных ИИ.
Наиболее эффективный подход заключается в настройке отдельных политик для поиска, обучения и доступа агентов, а затем в проверке фактического поведения краулера. Одна лишь настройка панели мониторинга не показывает, остается ли веб-сайт видимым для поисковых систем и платформ искусственного интеллекта.
