¿Tu web permite que la IA la lea? Comprueba tu robots.txt y tu llms.txt
Pon tu web y te decimos si los rastreadores de ChatGPT, Claude, Perplexity o Google pueden leerla, cuáles bloquea tu robots.txt y si tu llms.txt está bien hecho.
Gratis y sin registrarte
Los tres tipos de robots de IA
Las empresas de IA no tienen un solo robot, sino varios, y cada uno entra para una cosa distinta:
- Los de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot, y Googlebot y Bingbot para Google y Copilot) llenan el índice del que salen las respuestas con enlaces. Si los bloqueas, no te pueden citar.
- Los de visitas de usuario (ChatGPT-User, Claude-User, Perplexity-User) entran cuando alguien le pide al asistente que lea una página concreta.
- Los de entrenamiento (GPTBot, ClaudeBot, Applebot-Extended, CCBot…) recogen textos para entrenar modelos. Bloquearlos no te saca de las respuestas.
Por eso lo razonable, si no quieres ceder tus textos para entrenar, es bloquear solo a los de entrenamiento y dejar siempre abiertos los de búsqueda. Así lo explicamos en cómo saber si ChatGPT cita tu web, con la documentación de cada empresa.
Cómo leemos tu robots.txt
Seguimos el estándar que usan Google y OpenAI (RFC 9309): cada robot obedece al grupo de reglas con su nombre y, si no hay ninguno, al de «*»; dentro del grupo manda la regla más larga que encaje con la ruta, y si empatan, gana la que permite. Si no tienes robots.txt, pueden entrar en todo. Si tu servidor da error al pedirlo, dejan de rastrear por precaución.
Un caso que vemos a menudo: webs hechas como aplicación que devuelven su página principal en lugar del robots.txt. Para los robots es como no tenerlo, y te lo avisamos.
Y el llms.txt
Es un índice de tu web en Markdown pensado para los modelos de lenguaje. Comprobamos que exista y que tenga lo básico de la propuesta de llmstxt.org: el nombre como título, un resumen y enlaces a las páginas importantes. Cuándo merece la pena y cuándo no, en llms.txt: qué es y quién lo lee de verdad.
Preguntas frecuentes
Si bloqueo GPTBot, ¿dejo de salir en ChatGPT?
No. Según OpenAI, GPTBot es el robot con el que entrena sus modelos; la búsqueda de ChatGPT usa otro, OAI-SearchBot, y las visitas que pide un usuario, ChatGPT-User. Puedes bloquear el entrenamiento y seguir saliendo en las respuestas. Con Claude pasa igual: ClaudeBot entrena y Claude-SearchBot busca.
¿Puedo salir de los AI Overviews de Google y seguir en el buscador?
No con el robots.txt: los resúmenes de IA de Google usan el mismo Googlebot que la búsqueda. Google-Extended no los controla. Para limitar lo que Google usa en sus funciones de IA están nosnippet, max-snippet y el control de IA generativa de Search Console.
¿Hace falta tener un llms.txt?
No. Es una propuesta abierta, no un estándar, y Google ha dicho por escrito que su buscador lo ignora. Cuesta poco tenerlo y algunas herramientas lo usan, pero no es lo que decide si un asistente te cita.
¿Todos los robots respetan el robots.txt?
Las grandes empresas dicen en su documentación que lo respetan, pero el robots.txt es una norma que se cumple por buena fe, no un candado. Si quieres impedir el acceso de verdad, hay que bloquearlo en el servidor o con un cortafuegos.