Cloudflare ha anunciado una nueva función llamada “Pago por rastreo”, que permite a los propietarios de sitios web cobrar a los rastreadores de IA por el acceso a su contenido.
Esto marca la primera implementación a gran escala del código de respuesta HTTP 402 Pago requerido, un estándar no utilizado durante mucho tiempo, que brinda a los editores y creadores más control sobre cómo y cuándo los modelos de IA pueden indexar o entrenar su trabajo.
¿Qué es el pago por rastreo?
Hoy en día, muchos propietarios de contenido se enfrentan a una decisión binaria: bloquear por completo los rastreadores de IA o permitirles acceso ilimitado de forma gratuita. CloudflareEl nuevo sistema introduce una tercera opción: cobrar a los rastreadores por cada solicitud mediante un mecanismo de facturación y verificación integrado.
Con Pay Per Crawl, los propietarios de contenido que utilizan Cloudflare puede:
- Rastreadores de IA de carga según cada solicitud
- Bloquear o permitir Rastreadores específicos según sea necesario
- Usar un motor basado en reglas Para controlar los precios y el acceso después de las políticas de bots/WAF existentes
La función se encuentra actualmente en versión beta privada, pero señala un cambio hacia una web más monetizable y basada en permisos, especialmente en el contexto del raspado de inteligencia artificial generativa.
Cómo Funciona
Los rastreadores de IA deben autenticarse con Cloudflare utilizando el estándar Web Bot Auth, un método que verifica la identidad de un rastreador utilizando encabezados HTTP firmados y criptografía de clave pública.
Cuando un rastreador accede al contenido:
- Si incluye una intención de pago, se sirve el contenido (HTTP 200 OK).
- Si no es así, el servidor responde con HTTP 402 Pago requerido, junto con un precio.
- Los editores pueden definir una tarifa plana o evitar el cargo para bots específicos.
- Las transacciones financieras son gestionadas por Cloudflare como comerciante registrado.
Esto significa que incluso si una empresa de IA no tiene una relación previa con un editor, ahora se le puede cobrar por el acceso o bloquearlo programáticamente con una invitación a pagar.
Nuestra opinión: La obra más grande y por qué es importante
¿Qué hay en esto? Cloudflare?
Por lo que vemos, Cloudflare no solo resuelve un problema de los editores, sino que también sienta las bases para una capa de licencias web programable que podría transformar la economía de la IA, la búsqueda e incluso los asistentes personales.
A gran escala, el pago por rastreo podría:
- Estandarizar los precios del contenido digital en millones de dominios
- Cree un mercado de licencias en tiempo real para agentes y scrapers de IA
- Permitir que los propietarios de sitios web moneticen selectivamente diferentes tipos de contenido (por ejemplo, reseñas, investigaciones, foros)
A largo plazo, esta posición Cloudflare Como capa de compensación para las interacciones máquina-contenido, con facturación, identidad y cumplimiento de reglas gestionadas en el borde. Si los agentes inteligentes se vuelven dominantes en cómo los usuarios consumen la web (a través de Siri, ChatGPT, o herramientas de IA verticales), Cloudflare puede convertirse en la cabina de peaje predeterminada que rige el acceso, el cumplimiento y la monetización.
Por qué es importante para el hosting y los editores
Esta medida es particularmente relevante para salas de redacción, blogs, foros y sitios de reseñas como HostScore.net – todos los cuales producen contenido original de alto valor, frecuentemente extraído por modelos de IA.
Hasta ahora, los acuerdos de licencia entre editores y desarrolladores de IA eran puntuales, difíciles de escalar y accesibles solo para grandes grupos de medios. El pago por rastreo permite a cualquier propietario de dominio establecer precios para los rastreadores y potencialmente obtener ingresos cuando los sistemas de IA utilizan su contenido para entrenamiento o inferencia.
Para el espacio de hosting, también plantea cuestiones estratégicas:
- ¿Deberían los proveedores de hosting admitir funciones de pago por rastreo en sus paneles de control?
- ¿El ancho de banda o los límites de rastreo se convertirán en un factor a la hora de elegir un proveedor de alojamiento web?
- ¿Podría la fijación de precios? APIs ¿Y los esquemas de metadatos evolucionan para soportar licencias de acceso a IA dinámicas?
CloudflareLa implementación de podría sentar las bases para estándares de monetización más amplios en la web abierta, no solo para el entrenamiento de IA, sino también para futuras aplicaciones de agentes que consumen contenido en nombre de los usuarios finales.
Quién puede usar Cloudflare ¿'Pago por rastreo'?
La función está actualmente disponible en versión beta privada. Cloudflare es invitante:
- Operadores de rastreadores de IA dispuestos a pagar por el acceso al contenido
- Editores y creadores de contenido que desean cobrar por el acceso
Los interesados pueden presentar su solicitud a través de cloudflare.com/paypercrawl-signup.
