Generador de robots.txt para la IA: elige qué robots dejas entrar

Qué robot es cada uno

Cada empresa de IA tiene varios robots, y cada uno entra para una cosa. Los de búsqueda llenan el índice del que salen las respuestas con enlaces; los de visitas de usuario entran cuando alguien le pide al asistente que lea una página; y los de entrenamiento recogen textos para entrenar modelos. Por eso puedes cerrar el entrenamiento sin desaparecer de las respuestas: OpenAI lo dice expresamente, cada ajuste es independiente del otro. Lo contamos con calma en cómo saber si ChatGPT cita tu web.

Hay dos casos especiales. Google-Extended y Applebot-Extended no son robots que visiten tu web: son nombres que Google y Apple leen en tu robots.txt para saber si pueden usar para su IA lo que ya ha leído su robot de siempre. Y los robots que entran a petición de un usuario pueden saltarse el archivo: OpenAI dice que con ChatGPT-User «puede que no se apliquen» las reglas, Perplexity que Perplexity-User «en general las ignora» y Meta que meta-externalfetcher «puede omitirlas».

Lo que no se puede hacer con un robots.txt

• Salir de los AI Overviews y quedarte en Google. Los resúmenes con IA y el Modo IA leen con Googlebot. Google dice que, para limitar lo que enseña de tus páginas, uses nosnippet, data-nosnippet, max-snippet o noindex, y que Google-Extended no afecta a la Búsqueda. Lo explicamos en cómo aparecer en los AI Overviews.
• Esconder una página. Bloquear una carpeta impide que la rastreen, pero no que salga en Google si otras webs la enlazan. Para que no salga, Google pide noindex en la propia página, y que el robots.txt no la bloquee, o no lo podrá leer.
• Cerrar la puerta de verdad. El robots.txt es una norma que se cumple de buena fe, no un candado. Si un robot no la respeta, hay que bloquearlo en el servidor o en el cortafuegos.

Cómo escribimos el archivo

Seguimos el estándar (RFC 9309) y la especificación de Google: cada robot obedece al grupo que lleva su nombre y, si no hay ninguno, al de «*». Por eso los que bloqueas van juntos en su propio grupo con Disallow: /, y las carpetas que cierras a todos van en el grupo «*», que es el que siguen los demás. La señal común, __usage_ai-training, va en un grupo aparte: según el borrador del IETF que la define, el grupo «*» nunca cuenta para ella, y no cierra el paso a nadie, solo dice que no quieres que tu web se use para entrenar. Lo contamos en la noticia de la señal común. El sitemap va con su dirección completa, que es como lo pide Google.

Lo que hace cada robot está sacado de la documentación de cada empresa, revisada el 20 de octubre de 2026 (la señal común, el 2 de noviembre): OpenAI, Anthropic, Perplexity, Google, Apple, Meta, Common Crawl y la señal común (borrador del IETF).