Robots.txt: bloquea bots de IA sin cerrar el SEO

Sí, robots.txt es la forma estándar de indicar a los rastreadores de IA si pueden indexar tus páginas o usarlas para entrenamiento, pero el cumplimiento es voluntario. Usa tokens con nombre como GPTBot para bloquear los rastreadores de entrenamiento mientras dejas permitidos los tokens centrados en búsqueda si aun así quieres que tus páginas se citen en los resultados de búsqueda con IA. El archivo no detendrá físicamente a un bot malicioso, pero todos los grandes proveedores de IA lo documentan y lo respetan.

Resumen:

• Coloca robots.txt en la raíz del dominio, crea un archivo separado para cada subdominio y escribe User-agent y Disallow exactamente con mayúsculas y minúsculas correctas porque los nombres de las directivas distinguen entre mayúsculas y minúsculas.
• OpenAI separa su rastreador de búsqueda de su rastreador de entrenamiento, así que puedes permitir citas en búsquedas mientras bloqueas el entrenamiento; los cambios pueden tardar unas 24 horas.
• El control de entrenamiento de IA de Google no afecta al rastreo de búsqueda de Googlebot; la exclusión de Anthropic requiere reglas separadas para sus dos rastreadores de entrenamiento.
• Una página desautorizada no puede exponer su etiqueta noindex a los rastreadores, así que usa directivas meta para páginas HTML y encabezados HTTP para PDF e imágenes.
• Robots.txt no puede proteger contenido sensible ni detener bots que no cumplan las reglas; usa autenticación para material privado y bloqueo en CDN o WAF cuando las solicitudes continúen.

Fragmentos de Robots.txt copiables para bloquear o permitir rastreadores de IA

Un archivo robots.txt se aloja en la raíz de tu dominio (yoursite.com/robots.txt), nunca en una subcarpeta, y cada subdominio necesita su propia copia. Los nombres de las directivas y los tokens de user-agent distinguen entre mayúsculas y minúsculas, por lo que Disallow y User-agent deben escribirse exactamente como se muestra, aunque las rutas que incluyas pueden variar según la configuración del servidor.

Una configuración mínima que bloquea los rastreadores de entrenamiento pero mantiene la visibilidad en búsqueda tiene este aspecto:

• User-agent: GPTBot seguido de Disallow: / para excluirte del rastreador de entrenamiento de OpenAI.
• User-agent: OAI-SearchBot seguido de Allow: / para seguir apareciendo en los resultados de búsqueda de ChatGPT.
• User-agent: seguido de Allow: / para que los rastreadores generales, incluidos los motores de búsqueda, mantengan acceso completo.

En los sitios que quieren excluirse por completo del entrenamiento de IA, una lista de bloqueo de respaldo simplemente repite Disallow: / bajo cada token de entrenamiento con nombre (GPTBot, Google-Extended, ClaudeBot y otros), mientras deja abierto el grupo comodín para los motores de búsqueda. Una plantilla conservadora de «no bloquear nada» omite por completo los grupos con nombre y usa solo User-agent: con Allow: /, que es el estado predeterminado si nunca añades un archivo robots.txt.

Mantén el archivo corto. Search Engine Land recomienda bloquear solo los tokens de entrenamiento específicos que quieras excluir en lugar de intentar permitir explícitamente todos los rastreadores que no te importan, ya que las listas amplias de permisos son más difíciles de mantener y más propensas a provocar bloqueos accidentales en todo el sitio.

Consejo profesional: Prueba primero cada nueva edición de robots.txt en un subdominio de staging, ya que un comodín mal colocado puede bloquear accidentalmente Googlebot junto con los rastreadores de IA que querías excluir.

Cómo funcionan los tokens de User-Agent y las reglas de precedencia

El análisis de robots.txt sigue reglas estrictas, y equivocarse en ellas es la forma más fácil de bloquear por error a los motores de búsqueda. Según la RFC 9309, los tokens de user-agent solo pueden contener letras, guiones bajos y guiones, por lo que los comodines dentro del propio nombre del token no son válidos. Debes enumerar cada rastreador al que quieras dirigirte por su nombre exacto en lugar de intentar hacer coincidir varios a la vez mediante patrones.

Algunas reglas determinan qué grupo y qué regla se aplican realmente:

• Un grupo con nombre como User-agent: GPTBot tiene prioridad sobre el grupo comodín User-agent: * para ese rastreador específico.
• Cuando varias reglas Disallow o Allow pueden coincidir con una URL, prevalece la ruta coincidente más larga, independientemente de qué regla aparezca primero en el archivo.
• Un $ final ancla una regla al final exacto de una ruta, lo que te permite bloquear un tipo de archivo específico sin afectar a todo un directorio.

Equivocarse en el nombre del token, aunque sea por un solo carácter, significa que el rastreador simplemente recurre al grupo comodín en lugar de a la regla que pretendías.

Entradas específicas de robots.txt por proveedor que conviene conocer

Cada gran proveedor de IA publica sus propios tokens, y no siempre se corresponden directamente con un único bot. OpenAI usa OAI-SearchBot para la indexación de búsqueda y GPTBot para la recopilación de datos de entrenamiento, y ambos se controlan de forma independiente, de modo que puedes permitir uno y desautorizar el otro. Los cambios en cualquiera de las dos directivas pueden tardar unas 24 horas en surtir efecto, según la propia documentación de OpenAI, así que no esperes un cambio instantáneo en el comportamiento de rastreo después de editar tu archivo.

Google-Extended de Google es un token de control, no un agente de solicitud HTTP independiente. Determina si los productos de IA de Google pueden usar tu contenido para entrenamiento y funciones generativas, mientras que Googlebot sigue rastreando para búsqueda según sus propias reglas.

• User-agent: GPTBot con Disallow: / excluye tu sitio del entrenamiento de OpenAI mientras deja intacto OAI-SearchBot.
• User-agent: Google-Extended con Disallow: / excluye el uso de tu contenido para el entrenamiento de IA de Google sin afectar a la indexación de búsqueda estándar.
• User-agent: anthropic-ai y User-agent: ClaudeBot cubren los rastreadores de Anthropic, y ambos suelen necesitar un Disallow explícito si quieres excluir el entrenamiento.
• User-agent: Applebot-Extended controla el uso de Apple para entrenamiento de IA por separado del Applebot principal usado para Siri y Spotlight.
• Conviene combinar los rastreadores de Perplexity con una aplicación a nivel de edge, ya que algunos informes han descrito incidentes de incumplimiento en los que un rastreador siguió recuperando páginas pese a una regla de disallow.

Combinar Robots.txt con metaetiquetas y aplicación en el edge

Robots.txt es una solicitud, no un muro, y la propia documentación de Google confirma que su cumplimiento es voluntario y no una medida de seguridad vinculante. Las páginas desautorizadas aún pueden aparecer como URLs sin más en los resultados de búsqueda y, como una regla Disallow impide que la página se recupere por completo, cualquier metaetiqueta noindex que hayas colocado en esa página nunca llega a leerse.

Por eso es importante aplicar capas. Las páginas HTML pueden incluir directivas meta noai o noimageai para exclusiones a nivel de página, mientras que los recursos no HTML como PDF, imágenes y feeds necesitan en su lugar una cabecera HTTP X-Robots-Tag, ya que no hay cuerpo de página donde alojar una metaetiqueta.

• Usa robots.txt como primera capa para los rastreadores bien comportados que lo leen y lo respetan.
• Añade metaetiquetas o cabeceras X-Robots-Tag para un control granular, página por página o por tipo de archivo.
• Recurre a autenticación o protección por contraseña cuando el contenido sea realmente sensible, ya que robots.txt nunca se diseñó como una medida de seguridad.
• Considera Bot Preference Sync de Cloudflare, que puede anteponer directivas gestionadas a tu robots.txt existente y combinar esas preferencias con bloqueo aplicado en el edge por categoría (Search, Agent, Training), para que tus preferencias declaradas y la aplicación real se mantengan alineadas.

Consejo profesional: Si un rastreador ignora por completo tu robots.txt, la aplicación en el edge a través de tu CDN o WAF es la única capa que realmente detiene la solicitud.

Probar y verificar que tus directivas están funcionando

Confirmar que un rastreador realmente respeta tu robots.txt requiere una breve lista de comprobación, no conjeturas.

1. Revisa los registros de tu servidor para detectar solicitudes a /robots.txt procedentes de los user agents concretos de los proveedores a los que te diriges y confirma que aparecen antes de cualquier rastreo de rutas desautorizadas.
2. Ten en cuenta las ventanas de actualización de los proveedores. La documentación de OpenAI indica que los cambios pueden tardar aproximadamente 24 horas en propagarse, así que vuelve a comprobarlo tras un día completo en lugar de hacerlo inmediatamente.
3. Usa una herramienta de comprobación en vivo o un validador, como el verificador de robots.txt de BabyLoveGrowth, para confirmar que tu sintaxis se analiza correctamente y coincide con tu intención.
4. Revisa los informes de CDN o WAF junto con tus reglas de robots.txt para detectar cualquier rastreador que siga recuperando rutas bloqueadas a pesar de tus directivas.
5. Configura una página de prueba específica con una regla de desautorización única y supervisa si aparece en la salida de ese proveedor durante los días siguientes.

Equilibrar la visibilidad en IA frente a la exclusión del entrenamiento

Para los sitios ecommerce, la decisión suele reducirse a tres factores: cuánto ingreso depende de las referencias impulsadas por IA, lo sensible que es el contenido de tus productos y con qué frecuencia cambia tu catálogo. Si las citas en búsquedas con IA generan tráfico significativo, permite los tokens de búsqueda y desautoriza solo los de entrenamiento. Si tus descripciones, precios o imágenes se pueden extraer fácilmente y volver a empaquetar en otro lugar, desautorizar a los rastreadores de entrenamiento protege esa inversión. Los comerciantes que apuestan por la visibilidad siguen necesitando una forma de medir si está funcionando, y ahí es donde una herramienta de optimización dedicada se gana su lugar.

— Xhurian

Ecentic: Mide y optimiza tu visibilidad en compras con IA

Elegir permitir tokens de búsqueda es solo la mitad del trabajo. La pregunta más difícil es si los agentes de compras con IA como ChatGPT y Gemini realmente recomiendan tus productos una vez que pueden verlos. Creamos ecentic para responder directamente a esa pregunta: nos conectamos a tu tienda Shopify o WooCommerce, simulamos cómo los agentes de IA evalúan tus páginas de producto y te mostramos exactamente en qué ganas o pierdes frente a la competencia.

Si tu objetivo es conseguir más tráfico impulsado por IA en lugar de menos, optimizar es mejor que bloquear. Convertimos nuestros diagnósticos en sugerencias concretas de reescritura y las publicamos de vuelta en tu tienda con un solo clic, para que la brecha entre «visible para la IA» y «recomendado por la IA» pueda cerrarse.

• Realiza análisis basados en simulaciones para ver cómo distintos agentes de compras con IA leen tus fichas.
• Obtén recomendaciones claras y accionables vinculadas a páginas de producto específicas, no consejos genéricos de SEO.
• Publica correcciones directamente en Shopify o WooCommerce sin salir de tu panel.

Empieza con un análisis gratuito de producto para ver en qué punto están tus fichas hoy.

Preguntas frecuentes

¿Es legal usar robots.txt para bloquear bots de IA?

Sí, publicar un archivo robots.txt e incluir cualquier token de rastreador que decidas desautorizar es una parte estándar y legal de la gestión de un sitio web bajo el Protocolo de Exclusión de Robots. Simplemente expresa tus preferencias de rastreo; por sí solo no tiene poder legal de ejecución, así que combínalo con autenticación para cualquier contenido que realmente necesite protección.

¿Existe una sala de chat o un foro para hablar sobre el comportamiento de los bots de IA?

No existe una única sala de chat oficial gestionada por los proveedores de IA para cuestiones sobre robots.txt, pero cada proveedor publica su propia documentación, como la descripción general de rastreadores de OpenAI y la guía de robots.txt de Google, que son los lugares más fiables para confirmar el comportamiento actual de los tokens.

¿Se sigue usando robots.txt y sigue siendo relevante hoy en día?

Robots.txt sigue siendo la forma principal, reconocida por los proveedores, de expresar preferencias de rastreo, también para los bots más recientes de entrenamiento de IA y búsqueda de OpenAI, Google y Anthropic. Las principales empresas de IA siguen documentando y actualizando los tokens que admiten, por eso sigue siendo el primer control que configura la mayoría de propietarios de sitios web.

¿Los bots representan la mayor parte del tráfico de internet?

El tráfico de bots, incluidos los rastreadores de búsqueda y los agentes de IA, representa una parte significativa de las solicitudes que reciben la mayoría de los sitios web, aunque la proporción exacta varía mucho según el sitio y el sector. Revisar los propios registros del servidor en busca de user agents de rastreadores es la forma más fiable de ver cuánto de tu tráfico está automatizado, en lugar de basarte en una única cifra para toda la industria.

¿Bloquear GPTBot también bloquea los resultados de búsqueda de ChatGPT?

No, bloquear GPTBot solo excluye la recopilación de datos para entrenamiento y no afecta a OAI-SearchBot, que OpenAI controla por separado para la indexación de búsqueda. Debes desautorizar específicamente OAI-SearchBot si también quieres excluir tus páginas de los resultados de búsqueda de ChatGPT.

Fuentes

• Resumen de los rastreadores de OpenAI
• Resumen de robots (Google Search Central)
• Dilo una vez: presentación de Bot Preference Sync | Blog de Cloudflare
• RFC 9309
• Robots.txt y SEO: Lo que necesitas saber en 2026