Robots.txt contra el entrenamiento de la IA: la línea común de Google, Microsoft, OpenAI y Anthropic

Google, Microsoft, OpenAI y Anthropic han anunciado que respetarán una misma línea en el robots.txt para decir «no entrenes tu IA con mi web»: un grupo de reglas con User-agent: __usage_ai-training y Disallow: /. La propuso Anthropic en el IETF, el organismo que publica los estándares de internet, el 30 de octubre de 2026, y ese mismo día Google dijo que la apoyará en 2027 y Microsoft, que la aplicará desde el 1 de febrero de 2027. Todavía no funciona: hasta entonces, para que no entrenen con tus textos hay que seguir bloqueando a cada robot por su nombre.

La línea solo expresa una preferencia sobre el uso de tu contenido. No impide que los robots entren, no te saca del buscador y no es un candado: se cumple de buena fe, como el resto del robots.txt. Todo lo que sigue está sacado de los anuncios de cada empresa y del borrador del IETF, que enlazamos en cada apartado.

Cómo se escribe la línea

Es un grupo más del robots.txt, con un nombre especial donde normalmente iría el del robot. Este es el ejemplo del propio borrador del IETF:

User-agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Se lee así: no quiero que uses mi web para entrenar modelos de IA, salvo lo que hay en /press-kit/. Si quieres decir que no a toda la web, basta con las dos primeras líneas. Y si solo quieres proteger una parte, pones esa carpeta en el Disallow, como con cualquier robot.

Hay cuatro detalles que conviene saber:

• El grupo User-agent: * no cuenta. El borrador lo deja escrito: las reglas para todos los robots nunca se leen como una preferencia sobre el entrenamiento. Si no escribes el grupo de __usage_ai-training, no has dicho nada, aunque tengas un Disallow: / general.
• No crea instrucciones nuevas. Usa la gramática de siempre del robots.txt (RFC 9309), así que los programas que no la conocen la ignoran sin romperse.
• Se puede mezclar con robots normales en el mismo grupo, poniendo varias líneas User-agent seguidas.
• No controla el rastreo. Es una preferencia sobre el uso: para que un robot no entre, sigue haciendo falta su propio grupo.

Qué cuenta como entrenar lo define el grupo de trabajo AI Preferences del IETF: usar un contenido para cambiar los parámetros aprendidos de un modelo de IA generativa. Los modelos que solo clasifican, ordenan o puntúan quedan fuera, así que la línea no habla de los buscadores.

Quién la va a respetar y desde cuándo

Tabla con los anuncios del 30 de octubre de 2026.

Google

En el blog de Search Central, John Mueller anunció el 30 de octubre que Google apoyará este control compartido «junto con otros proveedores de IA en 2027», y su documentación de rastreadores precisa que será a principios de 2027. Cuando una web diga que no con esta línea y no mencione Google-Extended, Google lo leerá como si hubiera bloqueado Google-Extended, su control de entrenamiento desde 2023. Si mencionas Google-Extended, manda lo que digas ahí.

Microsoft

Bing publicó una guía completa el mismo día. Empezará a respetar la línea desde el 1 de febrero de 2027, a medida que rastree cada página, y añade dos cosas que solo son suyas:

• Una versión por página, que manda sobre el robots.txt: la etiqueta <meta name="Bingbot" content="ai-training:disallow"> o la cabecera X-Robots-Tag: Bingbot: ai-training:disallow.
• Un control aparte para las respuestas (lo que llama grounding): ai-grounding:disallow para que tu página no se use en las respuestas de Copilot y compañía, o ai-grounding:disallowextended para permitirlo solo en los productos de Microsoft. Este solo existe por página, no en el robots.txt, y Bing avisa de que cerrarlo reduce tu visibilidad en sus respuestas con IA.

Si usas las etiquetas NoArchive o NoCache para que Bing no use tus textos, tienes trabajo: desde el 1 de marzo de 2027 dejarán de valer para el entrenamiento, y hay que publicar las preferencias nuevas antes.

OpenAI y Anthropic

OpenAI publicó su propio anuncio el 30 de octubre. Según The Next Web, dice que la aplicará «en los próximos meses» y que sus controles actuales, como GPTBot, seguirán valiendo.

Anthropic es quien ha escrito el borrador: lo firma Kevin Kelley, de la empresa. En su mensaje a la lista del IETF cuenta que Anthropic «ya ha empezado a implementar» la señal, que le llevará tiempo llegar a todos sus servicios y que su forma de aplicarla puede cambiar mientras se cierra el estándar.

No hemos encontrado anuncios de Meta, Apple, Perplexity ni Common Crawl. Para ellos, de momento, solo vale bloquear a su robot por su nombre.

Qué pasa con lo que ya tienes en tu robots.txt

Casi nada deja de funcionar: la única excepción son NoArchive y NoCache en Bing, que ya hemos visto. Los grupos de GPTBot, ClaudeBot, Google-Extended, Applebot-Extended o CCBot siguen valiendo, y el borrador permite que cada empresa dé prioridad a su control propio sobre la señal común, porque es más específico. Lo sensato hoy es tener las dos cosas: tus bloqueos de siempre, que ya funcionan, y el grupo de __usage_ai-training, para cuando las empresas la apliquen y para las que se sumen después.

Lo que la línea no hace

• No te saca de Google ni de sus resúmenes con IA. Google dice que Google-Extended no influye en la Búsqueda, y los AI Overviews y el Modo IA leen con Googlebot. Lo contamos en cómo aparecer en los AI Overviews.
• No te saca de las respuestas de ChatGPT, Claude o Perplexity. Sus búsquedas usan otros robots (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Cuál es cuál, en cómo saber si ChatGPT cita tu web.
• No frena a quien no la respete. Es una preferencia escrita, como todo el robots.txt. Para cerrar la puerta de verdad hay que bloquear en el servidor.
• No mira hacia atrás. Cuenta lo que dice tu robots.txt cuando el robot lee la página. Lo que ya se haya recogido antes no lo cubre.
• No es un estándar todavía. Es un borrador individual: el grupo de trabajo aún no lo ha adoptado, y caduca el 3 de mayo de 2027 si no se renueva.

Cómo prepararlo hoy en tu web

1. Mantén tus bloqueos de entrenamiento (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, CCBot) si ya los tienes. Son lo único que funciona hoy.
2. Añade el grupo de la señal común con User-agent: __usage_ai-training y Disallow: /, aparte del grupo *.
3. Decide qué haces con Google-Extended según te importe salir en la app de Gemini (lo de arriba).
4. Si usas NoArchive o NoCache por Bing, cambia a las preferencias nuevas antes del 1 de marzo de 2027.
5. Comprueba el resultado. Nuestras dos herramientas gratis ya conocen la señal común: el generador la escribe en su grupo, y el comprobador te dice si tu robots.txt la tiene.

De dónde sale y qué tiene que ver Europa

La señal nace del grupo de trabajo AI Preferences (aipref) del IETF, que lleva más de un año buscando una forma común de expresar qué usos de su contenido permite una web. El borrador de Kelley se apoya en la definición de entrenamiento que ese grupo ya ha acordado, y en sus agradecimientos aparecen personas de Google, Microsoft, OpenAI, Anthropic, Internet Archive, News Corp y Elsevier, entre otras.

Google recuerda en su anuncio que el código de buenas prácticas para modelos de IA de uso general reconoce el robots.txt como método principal para que las webs expresen estas preferencias de forma legible por máquinas. Ese código desarrolla las obligaciones del reglamento europeo de inteligencia artificial para quienes entrenan esos modelos. Una línea que entiendan todos se lo pone más fácil a las webs que quieren decir que no. Si quieres entender por qué esto importa para que los asistentes te encuentren, empieza por qué es el GEO.