Rastreadores de IA y Cloudflare: ¿debe su empresa bloquear o permitir los bots de IA?
Cloudflare permite en todos los planes autorizar o bloquear bots de IA por comportamiento: búsqueda, agente y entrenamiento. Qué hace cada control y una guía de decisión para empresas que buscan clientes.
¿Debe su empresa bloquear los rastreadores de IA en Cloudflare? Para la mayoría de las pequeñas y medianas empresas que buscan clientes, la respuesta corta es: permita los rastreadores de búsqueda con IA, decida de forma consciente sobre los rastreadores de entrenamiento y revise lo que su zona de Cloudflare ya está haciendo, porque los valores predeterminados cambiaron en 2026. Cloudflare ahora agrupa los bots de IA por comportamiento (Search, Agent y Training) y permite en todos los planes, incluido el Free, autorizar o bloquear cada grupo. Bloquearlo todo protege su contenido, pero también puede dejar a su empresa fuera de las respuestas de IA que cada vez más clientes potenciales leen. Esta guía explica los controles en lenguaje sencillo y termina con una guía de decisión.
Si primero quiere conocer lo básico del firewall de Cloudflare, lea nuestra guía para proteger su sitio web con el WAF de Cloudflare.
Tres tipos de bots de IA, tres decisiones distintas
Cloudflare clasifica los bots de IA según lo que hacen en su sitio, no con una sola etiqueta de "IA". Su documentación describe tres comportamientos disponibles para todos los clientes:
| Comportamiento | Qué hace | Qué significa bloquearlo para usted |
|---|---|---|
| Search (búsqueda) | Recopila o indexa contenido para que un asistente de IA responda preguntas más adelante | Sus páginas pueden dejar de aparecer o de citarse en las respuestas de ese asistente |
| Agent (agente) | Actúa en tiempo real en nombre de una persona, como un asistente de chat que abre una página o un agente que usa el navegador | Un asistente no puede abrir su página cuando un usuario se lo pide |
| Training (entrenamiento) | Rastrea contenido para entrenar o ajustar un modelo | Los bots que respetan el bloqueo no usan su contenido para entrenamiento |
La diferencia importa porque cada empresa de IA opera rastreadores distintos. OpenAI, por ejemplo, documenta OAI-SearchBot para mostrar sitios en la búsqueda de ChatGPT, GPTBot para rastrear contenido que puede usarse para entrenar sus modelos y ChatGPT-User para las visitas que una persona inicia dentro de ChatGPT. OpenAI indica que estos ajustes son independientes: bloquear GPTBot lo excluye del entrenamiento sin sacarlo de la búsqueda de ChatGPT. Google usa un token de robots.txt, Google-Extended, para controlar el uso del contenido rastreado en el entrenamiento y el grounding (fundamentación) de los modelos Gemini; Google afirma que no afecta la inclusión en la Búsqueda de Google.
Algunos rastreadores tienen usos mixtos: sirven tanto para búsqueda como para entrenamiento. El registro de cambios de Cloudflare señala que los rastreadores multipropósito que combinan Search y Training se ven afectados por un bloqueo de Training, así que bloquear Training también puede reducir su visibilidad en la búsqueda con IA de ese proveedor.
Los controles de bots de Cloudflare, explicados
Bot Fight Mode (plan Free)
Bot Fight Mode es la herramienta gratuita de Cloudflare que desafía el tráfico que coincide con patrones de bots conocidos. Es fácil de activar (Security Settings, filtrando por Bot traffic), pero Cloudflare enumera límites importantes: protege todo el dominio, no se puede omitir con reglas personalizadas del WAF ni con Page Rules y puede desafiar el tráfico de API o de aplicaciones móviles. Si su sitio tiene webhooks, una app móvil o integraciones que lo consultan, pruebe con cuidado o no lo use.
Super Bot Fight Mode (Pro y superiores)
Super Bot Fight Mode está incluido en los planes Pro, Business y Enterprise. Clasifica el tráfico en grupos (definitivamente automatizado, probablemente automatizado y bots verificados) y le permite elegir una acción para cada uno. A diferencia de Bot Fight Mode, admite reglas de omisión (skip), así que puede eximir a sus propios clientes de API o herramientas de monitoreo.
Bots verificados
Un bot verificado es aquel que Cloudflare ha confirmado como transparente sobre quién es y qué hace. Cloudflare exige una identificación honesta (una firma criptográfica Web Bot Auth, una lista pública de IP o DNS inverso) y un comportamiento no abusivo, lo que incluye respetar robots.txt. Desde el 1 de julio de 2026, los agentes firmados (signed agents) forman parte del mismo grupo. Permitir los bots verificados es lo que mantiene el acceso de buscadores como Googlebot y Bingbot mientras se desafía la automatización desconocida.
Los controles específicos para IA
Políticas de bots de IA (reemplazan a "Block AI bots")
El 1 de julio de 2026, Cloudflare anunció que el interruptor único Block AI bots se reemplaza por las AI bot policies, con un ajuste por comportamiento. En el panel: Security Settings, filtre por Bot traffic y luego Configure AI bot policies. Para Search, Agent y Training puede elegir:
- Block (on all pages): bloquear en todas las páginas
- Block on pages with ads: bloquear solo en páginas con anuncios (Cloudflare detecta los anuncios automáticamente)
- Allow (do not block): permitir
La documentación de Cloudflare indica que la opción heredada Block AI bots queda obsoleta el 15 de septiembre de 2026 y que, desde esa fecha, los dominios nuevos reciben valores predeterminados actualizados: los bots de Training y Agent se bloquean en las páginas que muestran anuncios, mientras que Search sigue permitido. Las noticias sobre el cambio no coinciden en si las zonas existentes también se modificaron, así que no lo suponga: abra la página y revise lo que muestra su zona hoy.
Para un sitio empresarial típico sin anuncios, "Block on pages with ads" tiene poco efecto práctico. Si quiere tomar una decisión real, elija Block o Allow de forma explícita.
AI Crawl Control
AI Crawl Control (antes AI Audit) está disponible en todos los planes. Muestra qué rastreadores de IA visitan su sitio y con qué frecuencia, le permite permitir o bloquear rastreadores individuales y registra cuáles respetan su robots.txt. Es el lugar correcto para empezar: mire el tráfico real antes de bloquear nada. También incluye Pay Per Crawl, que permite a los dueños de sitios cobrar a los rastreadores de IA por el acceso; la documentación de Cloudflare lo presenta como una beta privada, así que la mayoría de las pequeñas empresas puede ignorarlo por ahora.
robots.txt administrado y señales de contenido
robots.txt es una petición, no un candado: su cumplimiento es voluntario. El managed robots.txt de Cloudflare (disponible en todos los planes) agrega por usted directivas para rastreadores de IA, según sus políticas de bots de IA, cuando Bot Preference Sync está activado. Si ya tiene un robots.txt, Cloudflare coloca sus reglas administradas encima de las suyas y sirve un solo archivo. También incluye la Content Signals Policy, que define tres usos (search, ai-input y ai-train) para que pueda expresar sus preferencias de forma legible por máquinas. Combínelo con las políticas de bots de IA o con AI Crawl Control si quiere que el bloqueo se aplique en la red de Cloudflare en lugar de solo pedirse.
Guía de decisión para empresas que quieren clientes desde las respuestas de IA
Si la gente lo encuentra preguntándole a un asistente "¿Quién ofrece soporte de TI en Miami?" o "¿Qué firmas de contadores en Coral Gables atienden pequeñas empresas?", usted quiere que su sitio se pueda leer y citar. Un punto de partida práctico para una empresa de servicios B2B:
- Search: Allow. Así sus páginas siguen siendo elegibles para aparecer en respuestas de búsqueda con IA. Mantenga permitidos los buscadores tradicionales mediante los bots verificados.
- Agent: Allow en las páginas comerciales. Cuando un cliente potencial le pide a un asistente que revise su página de servicios o sus datos de contacto, usted quiere que esa consulta funcione. Proteja los inicios de sesión, portales y formularios con limitación de tasa o reglas del WAF.
- Training: usted decide. Bloquear los rastreadores de entrenamiento evita que sus textos se usen para construir modelos, pero también puede afectar las funciones de búsqueda de los rastreadores de uso mixto. Si sus páginas son contenido comercial pensado para ser leído, permitirlo es una opción razonable. Si su contenido es el producto (investigaciones, cursos, guías de pago), bloquearlo tiene más sentido.
- Mire antes de bloquear. Revise AI Crawl Control durante una semana. Si un rastreador concreto está sobrecargando su servidor, bloquee ese rastreador, no toda la categoría.
- Mantenga coherentes robots.txt y Cloudflare. Un robots.txt que da la bienvenida a un rastreador mientras Cloudflare lo bloquea (o al revés) complica la resolución de problemas.
- Proteja lo privado. Los portales de clientes, las facturas y las áreas de administración deben requerir inicio de sesión y quedar excluidos de la indexación; los ajustes de bots no son control de acceso.
- Escriba contenido que valga la pena citar. Páginas de servicios claras, un área de servicio real, respuestas sencillas a preguntas comunes y datos de contacto correctos importan más que cualquier ajuste de rastreadores. Nuestro servicio de sitios web a la medida se basa en esto.
Vuelva a revisar estos ajustes cuando Cloudflare anuncie cambios; sus productos de bots cambian de nombre y se reorganizan con frecuencia.
Si quiere ayuda para revisar la configuración de bots y rastreadores de IA en Cloudflare, o para crear un sitio que los asistentes de IA puedan entender y citar, solicite una evaluación de TI gratuita. Core Florida IT es un proveedor de TI independiente que atiende a empresas en Miami-Dade y todo el sur de la Florida, y nuestro equipo de aplicaciones de IA para empresas trabaja con estas herramientas todos los días.
Fuentes
- Bots: comportamientos de los bots de IA (Cloudflare Docs)
- Block AI bots y políticas de bots de IA (Cloudflare Docs)
- New options to manage AI traffic, 1 de julio de 2026 (Cloudflare Changelog)
- AI Crawl Control (Cloudflare Docs)
- Managed robots.txt (Cloudflare Docs)
- Bot Fight Mode (Cloudflare Docs)
- Super Bot Fight Mode (Cloudflare Docs)
- Verified bots (Cloudflare Docs)
- Overview of OpenAI crawlers (OpenAI)
- Rastreadores comunes de Google y Google-Extended (Google Search Central)
