Qué es el robots.txt

Descubre qué es el robots.txt, cómo funciona y dónde se encuentra. Aprende a configurar sus reglas con ejemplos, distinguir rastreo e indexación y evitar errores que impidan a Google acceder al contenido importante de tu web.

Para entender qué es el robots.txt, debes conocer su función: es un archivo de texto que indica a los rastreadores qué rutas de una web pueden visitar. Se publica en la raíz del sitio y permite gestionar el rastreo de páginas y recursos. Sus instrucciones no protegen información privada ni garantizan que una URL desaparezca de los resultados de búsqueda.

Antes de modificarlo, conviene distinguir entre rastreo, indexación y acceso al contenido. En esta guía encontrarás ejemplos, reglas de configuración y comprobaciones para evitar que un cambio afecte a páginas importantes de tu web.

Qué es el robots.txt y para qué sirve

El archivo robots.txt comunica instrucciones de rastreo a los bots que respetan el protocolo de exclusión de robots. Antes de solicitar contenido, estos rastreadores consultan las reglas aplicables, que pueden conservar temporalmente en caché.

Su configuración permite restringir determinadas rutas y establecer excepciones. También puede indicar dónde se encuentra el sitemap del sitio.

Cuando alguien pregunta qué es el robots.txt, suele buscar una forma de controlar cómo Google accede a su web. Para utilizarlo bien, hay que concretar el objetivo: limitar solicitudes de rastreo, evitar la indexación de una página o proteger información requieren decisiones diferentes.

Rastreo e indexación no significan lo mismo

El rastreo consiste en acceder al contenido de una URL. La indexación consiste en procesar información sobre una página para incorporarla al índice del buscador. Una página rastreada no tiene garantizada su indexación.

Google puede descubrir una URL bloqueada mediante enlaces y mostrarla en sus resultados sin haber accedido a su contenido. Por eso, restringir el rastreo no garantiza que desaparezca del buscador. Puedes ampliar esta diferencia en la introducción oficial de Google a los archivos robots.txt.

El archivo no protege contenido privado

Robots.txt es público. Sus reglas no impiden que una persona abra una dirección en el navegador ni obligan a todos los bots a respetarlas.

Para proteger documentos confidenciales, zonas privadas o entornos de pruebas, utiliza autenticación y controles de acceso. Escribir una ruta sensible dentro del archivo no la convierte en privada.

Qué es el robots.txt de un dominio y dónde se encuentra

El archivo debe estar disponible en la ruta /robots.txt, con el nombre en minúsculas. Por ejemplo:

https://www.example.com/robots.txt

Una dirección como /blog/robots.txt no sustituye al archivo de la raíz. Lo importante es que la URL correcta entregue las instrucciones como texto plano.

El contenido puede proceder de un archivo físico o generarse desde el sistema que gestiona la web. Por eso, antes de editar, comprueba qué componente controla la respuesta publicada.

Qué ocurre con los subdominios

Las reglas tienen un alcance definido por el protocolo, el host y el puerto. El archivo de https://www.example.com/ no establece por sí solo las instrucciones de https://tienda.example.com/.

Si un subdominio necesita reglas propias, debe servirlas en su correspondiente dirección /robots.txt. Revisa también qué versión del dominio utiliza realmente tu sitio, con o sin www.

Qué es el robots.txt explicado con un ejemplo

El siguiente archivo utiliza rutas ficticias para mostrar cómo funcionan sus instrucciones. No es una configuración que debas copiar sin revisar las URLs y los objetivos de tu web:

User-agent: *
Disallow: /zona-ejemplo/
Allow: /zona-ejemplo/publica/
Sitemap: https://www.example.com/sitemap.xml

User-agent: identifica al rastreador

User-agent indica a qué rastreador corresponde un grupo de reglas. El asterisco de User-agent: * representa el grupo general, aplicable cuando no existe otro que coincida de forma más específica con el bot.

Disallow: restringe una ruta

Disallow: /zona-ejemplo/ indica que no se rastreen las URLs cuya ruta comienza por esa secuencia, salvo que una regla aplicable más específica permita el acceso.

Una línea Disallow: sin ruta no bloquea nada. En cambio, Disallow: / restringe todo el sitio para el grupo al que pertenece, salvo las excepciones establecidas mediante reglas más específicas.

Allow: permite una excepción

Allow: /zona-ejemplo/publica/ permite rastrear esa subruta aunque la carpeta superior esté bloqueada. No necesitas añadir una instrucción Allow para cada página pública: cuando no existe una restricción aplicable, el rastreo está permitido por defecto.

Sitemap: indica el mapa del sitio

La línea Sitemap contiene la URL completa de un mapa del sitio. Sustituye el dominio y la ruta del ejemplo por una dirección real y accesible.

Incluir una página en el sitemap no anula un bloqueo de rastreo ni garantiza su indexación. Comprueba que el mapa del sitio y las reglas respondan a los mismos objetivos.

Cómo interpreta Google las reglas del robots.txt

Entender qué es el robots.txt también implica saber cómo se resuelven las coincidencias entre sus instrucciones. El orden visual de las líneas no determina por sí solo qué regla se aplica.

Google selecciona el grupo que coincida de forma más específica con su rastreador. Si existe un grupo específico para Googlebot, sus reglas no se suman automáticamente a las del grupo general User-agent: *.

Si aparecen varios grupos con la misma coincidencia específica de user-agent, Google combina sus reglas. Revisa el archivo completo para detectar duplicaciones o excepciones que puedan cambiar el resultado.

La coincidencia más específica tiene prioridad

Dentro de las reglas aplicables, prevalece la coincidencia más específica. En el ejemplo anterior:

  • /zona-ejemplo/informe.html queda bloqueada.
  • /zona-ejemplo/publica/guia.html está permitida porque coincide con una excepción más específica.

Cuando Allow y Disallow tienen una coincidencia equivalente, Google utiliza la menos restrictiva. La documentación de Google sobre la especificación robots.txt detalla estos criterios.

Mayúsculas, comentarios y comodines

Las rutas distinguen entre mayúsculas y minúsculas. /Blog/ y /blog/ no son la misma secuencia.

  • # introduce un comentario hasta el final de la línea.
  • * representa una secuencia de cero o más caracteres.
  • $ señala el final de la coincidencia.

Por ejemplo, Disallow: /archivo.html$ busca una coincidencia que termine ahí. Sin el símbolo final, la regla también puede afectar a direcciones que continúen después de esa secuencia. El estándar RFC 9309 recoge Allow, Disallow y estos caracteres especiales.

Qué es el robots.txt y en qué se diferencia de noindex

Robots.txt gestiona el rastreo. La instrucción noindex permite indicar a Google que una página no debe aparecer en sus resultados. Para detectarla, el buscador necesita acceder a la URL.

En una página HTML, puedes incluir esta instrucción dentro de su elemento <head>:

<meta name="robots" content="noindex">

También puede enviarse mediante una cabecera de respuesta HTTP. Esta opción resulta útil para recursos como documentos PDF:

X-Robots-Tag: noindex

Estas instrucciones corresponden a la página o al servidor. No debes pegarlas dentro de robots.txt: Google no admite una directiva noindex en ese archivo.

Si bloqueas la URL y añades noindex al mismo tiempo, Google no podrá acceder para leer la instrucción. Consulta la guía oficial sobre cómo impedir la indexación con noindex.

Qué utilizar según el objetivo
Objetivo Mecanismo adecuado
Restringir el rastreo de ciertas rutas Reglas en robots.txt, comprobando las URLs y los recursos afectados.
Excluir una página HTML pública de Google Noindex en la página o en la cabecera HTTP, permitiendo el rastreo.
Excluir un PDF público de Google Cabecera X-Robots-Tag con noindex, permitiendo el acceso del rastreador.
Proteger contenido privado Autenticación y restricciones de acceso en el servidor o la aplicación.

Qué es el robots.txt dentro de una estrategia SEO

Este archivo forma parte de la gestión técnica del rastreo. Su configuración debe responder a la estructura de la web y a la función de cada URL. No existe una lista universal de carpetas que debas bloquear en cualquier proyecto.

Permite el acceso al contenido importante

Mantén accesibles las páginas que quieras que Google evalúe para indexarlas. También deben poder rastrearse aquellas en las que necesite leer una instrucción noindex.

Comprueba los recursos necesarios para mostrar el contenido. Si bloqueas un archivo JavaScript que carga información esencial, Google puede tener dificultades para acceder a ella durante el renderizado.

La documentación sobre SEO en JavaScript explica este proceso. Un recurso bloqueado puede dificultar la interpretación de la página; no implica automáticamente una penalización.

Analiza los filtros y las combinaciones de URLs

Una tienda puede generar muchas direcciones al combinar talla, color y ordenación. Antes de restringirlas, revisa cuáles tienen valor propio y cómo se descubren los productos.

Google aborda este problema en su guía sobre navegación por facetas. Un bloqueo general de parámetros puede afectar a direcciones necesarias para explorar el catálogo.

Distingue las páginas funcionales de las áreas privadas

Un carrito público, una página de acceso y un entorno de pruebas no requieren necesariamente la misma solución. Decide qué necesitas controlar en cada caso: rastreo, indexación o acceso.

Aprender qué es el robots.txt ayuda a evitar un error habitual: utilizar una restricción de rastreo para resolver un problema de privacidad. La protección de un área privada debe funcionar aunque el visitante ignore el archivo.

Cómo crear y comprobar el archivo robots.txt

Una vez que sabes qué es el robots.txt y qué objetivo cumple cada regla, puedes revisar la configuración con un procedimiento concreto:

  1. Consulta la versión publicada. Abre la ruta /robots.txt y guarda una copia antes de editar.
  2. Define qué quieres conseguir. Distingue entre controlar rastreo, excluir contenido de Google y proteger acceso privado.
  3. Prepara URLs de prueba. Incluye páginas que deban permitirse, restringirse y quedar fuera de las reglas.
  4. Edita como texto plano. Utiliza codificación UTF-8 y una instrucción por línea. No introduzcas etiquetas HTML.
  5. Comprueba la respuesta del servidor. La URL debe entregar el texto esperado, no una página de error ni un formulario de acceso.
  6. Verifica el resultado. Revisa las páginas importantes y los recursos necesarios para mostrarlas.

Cómo utilizar Google Search Console

El informe de robots.txt permite consultar los archivos que Google conoce, su última obtención y los problemas detectados. Para comprobar una página concreta, utiliza la inspección de URLs y su prueba de disponibilidad.

La documentación del informe de robots.txt describe estas comprobaciones. Distingue los datos del último rastreo de los resultados de una prueba actual: publicar un cambio no significa que Google ya haya actualizado toda la información.

Si tu web depende de JavaScript, revisa también el contenido renderizado y los recursos que no se hayan podido cargar.

Errores habituales al configurar robots.txt

Conocer qué es el robots.txt no basta si las reglas se publican sin comprobar su alcance. Estos son algunos errores que conviene revisar:

  • Mantener un bloqueo global al publicar la web: comprueba si un Disallow: / afecta a los rastreadores que quieres permitir.
  • Bloquear una página que contiene noindex: el bot puede quedar sin acceso a la instrucción de indexación.
  • Intentar ocultar documentos privados: seguirán accesibles si no existen controles reales de acceso.
  • Copiar reglas de otra web: las rutas, los recursos y las necesidades pueden ser diferentes.
  • Restringir todos los parámetros: algunas direcciones pueden ser necesarias para descubrir contenido.
  • Confiar en Crawl-delay para Google: Google no admite esa directiva en robots.txt.
  • Ignorar los grupos específicos: un bloque dirigido a Googlebot puede cambiar qué instrucciones se aplican.

Qué es el robots.txt: preguntas frecuentes

¿Es obligatorio tener este archivo?

No necesitas crearlo únicamente para permitir el rastreo. Si tu web no requiere restricciones, evita añadir instrucciones que no resuelvan una necesidad concreta.

¿Allow garantiza que una página aparezca en Google?

No. Permitir el rastreo solo elimina esa restricción. La indexación depende de otros factores y de las instrucciones que Google encuentre al acceder al contenido.

¿Una URL bloqueada puede seguir apareciendo en el buscador?

Sí. Google puede descubrir su dirección mediante enlaces aunque no rastree su contenido. Para excluir una página pública, revisa el uso de noindex y permite que el buscador lo lea.

¿El robots.txt mejora el posicionamiento?

Una configuración adecuada puede evitar obstáculos al rastreo y ayudar a gestionar URLs innecesarias. No genera una mejora automática de posiciones ni sustituye al contenido, la arquitectura y el resto del trabajo SEO.

¿Cómo empezar a revisar mi web?

Para aplicar lo aprendido sobre qué es el robots.txt, selecciona una página importante, una URL cuyo rastreo quieras restringir y otra que deba quedar fuera de esa restricción. Comprueba cómo se comportan las reglas actuales antes de introducir cambios.

Si necesitas ayuda para revisar el rastreo de tu proyecto, puedes conocer nuestros servicios de SEO y consultoría en Vórtice, nuestra agencia de marketing digital en Madrid.

Servicios de Vórtice

¿Quieres convertir tu marca en resultados?

En nuestra agencia de marketing digital podemos ayudarte a escalar tu empresa

- Servicios
Conoce nuestros servicios

Servicios de redes sociales, desarrollo web, posicionamiento SEO…todo lo necesario para que tu negocio crezca.

Subscribe
Notify of
guest

0 Comments
Oldest
Newest Most Voted

¿Hablamos de tu proyecto?

Cuéntanos qué necesitas y te preparamos una propuesta sin compromiso.