Cloudflare анонсировала новую функцию под названием «Оплата за сканирование», которая позволяет владельцам веб-сайтов взимать плату с роботов ИИ за доступ к их контенту.
Это первая крупномасштабная реализация кода ответа HTTP 402 «Требуется оплата» — давно не используемого стандарта, предоставляющего издателям и создателям больше контроля над тем, как и когда модели ИИ могут индексировать или обучаться на основе их работы.
Что такое оплата за сканирование?
Сегодня многие владельцы контента сталкиваются с необходимостью выбора: полностью заблокировать роботов ИИ или предоставить им неограниченный доступ бесплатно. CloudflareНовая система представляет третий вариант: взимание платы с поисковых роботов за каждый запрос с использованием встроенного механизма выставления счетов и проверки.
С помощью Pay Per Crawl владельцы контента, использующие Cloudflare Можно:
- Роботы с искусственным интеллектом по запросу
- Блокировать или разрешить определенные сканеры по мере необходимости
- Использовать движок на основе правил для контроля ценообразования и доступа после существующих политик ботов/WAF
В настоящее время эта функция находится в стадии закрытого бета-тестирования, но она свидетельствует о переходе к более монетизируемому и основанному на разрешениях Интернету, особенно в контексте генеративного сбора данных с помощью ИИ.
Как это работает
Роботы ИИ должны пройти аутентификацию Cloudflare с использованием стандарта Web Bot Auth, метода, который проверяет личность поискового робота с помощью подписанных HTTP-заголовков и криптографии с открытым ключом.
Когда поисковый робот получает доступ к контенту:
- Если в нем указано платежное намерение, контент передается (HTTP 200 OK).
- Если это не так, сервер отвечает кодом HTTP 402 «Требуется оплата» и указывает цену.
- Издатели могут установить фиксированную ставку или отменить плату за определенных ботов.
- Финансовые операции осуществляются Cloudflare как зарегистрированный торговец.
Это означает, что даже если у компании, занимающейся ИИ, ранее не было отношений с издателем, теперь с нее можно взимать плату за доступ или заблокировать ее программно с приглашением заплатить.
Наш взгляд: большая игра и почему это важно
Что в этом для Cloudflare?
Из того, что мы видим, Cloudflare не просто решает болевую проблему издателя, но и закладывает основу для программируемого уровня веб-лицензирования, который может изменить экономику ИИ, поиска и даже персональных помощников.
В масштабе система оплаты за сканирование может:
- Стандартизировать цены на цифровой контент для миллионов доменов
- Создайте рынок лицензирования в режиме реального времени для агентов и скраперов ИИ
- Позвольте владельцам веб-сайтов выборочно монетизировать различные типы контента (например, обзоры, исследования, форумы)
В долгосрочной перспективе это позиционирует Cloudflare как клиринговый слой для взаимодействия машины с контентом, где выставление счетов, идентификация и применение правил осуществляются на периферии. Если интеллектуальные агенты станут доминировать в том, как пользователи используют веб (через Siri, ChatGPT, или вертикальные инструменты ИИ), Cloudflare может стать пунктом взимания платы по умолчанию, регулирующим доступ, соблюдение правил и монетизацию.
Почему это важно для хостинга и издателей
Этот шаг особенно актуален для редакций, блогов, форумов и сайтов с обзорами, таких как HostScore.net – все они производят ценный, оригинальный контент, который часто копируется моделями искусственного интеллекта.
До сих пор лицензионные соглашения между издателями и разработчиками ИИ были разовыми, их было сложно масштабировать, и они были доступны только крупным медиагруппам. Плата за сканирование позволяет любому владельцу домена устанавливать цены на услуги поисковых роботов и потенциально получать доход, когда системы ИИ используют его контент для обучения или вывода данных.
Для сферы хостинга это также поднимает стратегические вопросы:
- Должны ли хостинг-провайдеры поддерживать функции оплаты за сканирование на своих панелях управления?
- Станут ли ограничения пропускной способности или сканирования фактором при выборе веб-хостинга?
- Может ли ценообразование APIs и схемы метаданных развиваются для поддержки динамического лицензирования доступа к ИИ?
CloudflareРеализация может заложить основу для более широких стандартов монетизации в открытом Интернете — не только для обучения ИИ, но и для будущих агентских приложений, которые потребляют контент от имени конечных пользователей.
Кто может использовать Cloudflare «Оплата за сканирование»?
В настоящее время функция доступна в закрытом бета-тестировании. Cloudflare приглашает:
- Операторы ИИ-роботов готовы платить за доступ к контенту
- Издатели и создатели контента, которые хотят взимать плату за доступ
Заинтересованные стороны могут подать заявку через cloudflare.com/paypercrawl-signup.
