Robots.txt es probablemente el archivo más pequeño de un sitio web, y sin embargo uno de los que pueden causar los daños más importantes en caso de error. Una sola línea mal escrita puede hacer desaparecer un sitio entero de los resultados de búsqueda en cuestión de horas, generalmente sin que ninguna alerta visible avise al propietario del sitio antes de que el tráfico se desplome.

Lo que este archivo hace realmente

Robots.txt indica a los rastreadores qué partes de un sitio pueden o no recorrer. Debe encontrarse obligatoriamente en la raíz del dominio, en la dirección ejemplo.es/robots.txt, de lo contrario simplemente no se tiene en cuenta. Conviene aclarar un punto a menudo malentendido: robots.txt controla el rastreo, no la indexación. Una página bloqueada en este archivo puede pese a todo aparecer en los resultados de búsqueda, generalmente sin descripción, si otros sitios enlazan hacia ella. Para retirar una página de los resultados de forma fiable, la etiqueta noindex colocada directamente en la página sigue siendo la herramienta correcta, no robots.txt.

El error más costoso: el bloqueo total accidental

El escenario más dañino sigue siendo la línea Disallow seguida de una simple barra diagonal, que bloquea el rastreo de todo el sitio. Este caso ocurre con frecuencia durante una puesta en producción, cuando el archivo robots.txt usado en el entorno de pruebas, deliberadamente restrictivo para impedir su indexación, termina copiándose tal cual en el sitio real sin modificarse. Una vez cometido este error, no basta con corregir el archivo para que todo vuelva a la normalidad al instante: las páginas ya retiradas del rastreo pueden seguir visibles, pero degradadas, durante varias semanas mientras Google vuelve a rastrear todo el sitio.

La trampa de bloquear los archivos CSS y JavaScript

Otro problema frecuente, especialmente en sitios antiguos, consiste en bloquear por error el acceso a las carpetas que contienen las hojas de estilo y los scripts. Google analiza hoy una página de forma parecida a un navegador, teniendo en cuenta su maquetación real. Si no puede cargar el CSS y el JavaScript, percibe una página mal formada o rota, lo que puede influir negativamente en su evaluación, aunque el contenido textual siga siendo perfectamente accesible.

La novedad de 2026: distinguir los rastreadores de búsqueda de los rastreadores de inteligencia artificial

Desde el auge de los asistentes conversacionales, una nueva categoría de rastreadores explora la web, con objetivos distintos a los de los motores de búsqueda tradicionales. Algunos, como GPTBot o CCBot, recopilan contenido para entrenar modelos de lenguaje. Otros, como los robots de recuperación usados por las funciones de búsqueda de ciertos asistentes, buscan citar una fuente concreta en respuesta a una pregunta de un usuario, lo cual suele resultar deseable para la visibilidad de un sitio. Estas dos categorías se distinguen por su nombre de agente de usuario, y robots.txt permite autorizarlas o bloquearlas de forma independiente entre sí, en lugar de aplicar una regla única a todos los robots mediante el asterisco. Un punto a señalar: Google-Extended, que alimenta el entrenamiento de los modelos Gemini, es un robot distinto de Googlebot, el robot usado para la indexación clásica en la búsqueda de Google. Bloquear Google-Extended no afecta por tanto al posicionamiento del sitio en los resultados de búsqueda habituales.

Las buenas prácticas para un archivo fiable

Una estructura segura consiste en empezar permitiendo el rastreo de forma amplia, y luego añadir reglas de bloqueo precisas y nombradas en lugar de comodines vagos, lo que limita las consecuencias de un error de sintaxis. Las mayúsculas y minúsculas importan en las rutas indicadas: bloquear una carpeta escrita en minúsculas no bloquea automáticamente la misma dirección escrita con mayúscula. También se recomienda incluir siempre la línea que indica la ubicación del mapa del sitio, un paso sencillo pero frecuentemente olvidado, y mantener el archivo conciso, sabiendo que los principales motores suelen ignorar los archivos que superan varios cientos de kilobytes.

Comprobar tras cada cambio

Tras cualquier modificación del archivo, en particular después de una puesta en producción, una comprobación rápida de su contenido real en línea evita descubrir un bloqueo accidental varios días después de que haya empezado a afectar el tráfico. Search Console ofrece una herramienta dedicada que permite probar si una URL concreta está bloqueada por el archivo actual, lo cual sigue siendo la forma más fiable de confirmar que una regla produce el efecto esperado.

Puntos a verificar antes de publicar: confirmar que la distinción entre Googlebot y Google-Extended sigue siendo exacta en el momento de la publicación, y comprobar que los nombres de agentes de usuario citados para los rastreadores de inteligencia artificial (GPTBot, CCBot, Google-Extended) siguen correspondiendo a las denominaciones oficiales vigentes.