En un video reciente de YouTube[1], Martin Splitt, desarrollador y defensor en Google, arrojó luz sobre un tema que genera bastantes dudas entre los responsables de SEO: ¿cuál es la diferencia entre “noindex” y “disallow”? Aunque ambos son herramientas potentes para controlar cómo los motores de búsqueda interactúan con un sitio web, tienen propósitos muy diferentes. Usarlos correctamente puede marcar la diferencia entre una estrategia SEO impecable y una llena de tropiezos.
¿Cuándo usar “Noindex”?
La etiqueta “noindex” es básicamente un cartel que le dice a los motores de búsqueda: «Puedes mirar, pero no te lo lleves». Se implementa en la sección HTML del encabezado de una página mediante meta tags de robots o a través del encabezado HTTP X-Robots.
¿Para qué sirve?
Es ideal cuando quieres que los buscadores accedan a la página, pero no deseas que la incluyan en sus resultados. Por ejemplo:
- Páginas de agradecimiento: Esa típica “¡Gracias por tu compra!” no tiene sentido que esté en Google.
- Resultados de búsquedas internas: No aportan valor al usuario que llega desde un motor de búsqueda y podrían incluso confundirlo.
En pocas palabras, es tu opción para decir: «No quiero que esta página aparezca en Google, pero puedes revisarla».
¿Y cuándo utilizar “Disallow”?
Por otro lado, el comando “disallow”, configurado en el archivo robots.txt, es más como una barrera física. Les dice a los rastreadores: «No pases de aquí, esta zona es privada». Esto impide que los motores de búsqueda accedan a ciertas URLs o incluso a patrones de URLs.
¿Cuándo usarlo?
- Información sensible: Datos privados, carpetas de usuarios o cualquier contenido que quieras proteger.
- Páginas irrelevantes para el SEO: Por ejemplo, páginas con scripts temporales o directorios internos.
En resumen, “disallow” es la herramienta perfecta para asegurarte de que ciertas partes de tu sitio ni siquiera entren al radar de los motores de búsqueda.
Errores Frecuentes: No Combines “Noindex” y “Disallow”
Un desliz común, y que Martin Splitt subrayó, es tratar de ser demasiado precavido combinando ambos métodos en una misma página. Si bloqueas una URL en robots.txt con “disallow”, los motores de búsqueda no podrán rastrear esa página. Y si no pueden rastrearla, tampoco podrán leer el “noindex” que le pusiste en el meta tag. El resultado: esa página podría acabar apareciendo en los resultados, aunque solo con datos básicos como el título de la URL. Una solución mal aplicada puede terminar siendo un dolor de cabeza.
Entonces, regla de oro:
- Usa “noindex” cuando quieras que la página no aparezca en los resultados, pero permitas que los motores de búsqueda la revisen.
- Usa “disallow” para bloquear por completo el acceso a esa página.
Herramientas y Consejos de Google
Para evitar malentendidos y problemas de configuración, Google ofrece una herramienta específica en Search Console: el informe de robots.txt. Con él, puedes verificar cómo tus reglas están afectando el rastreo y la indexación.
Finalmente, como recomendación clave: comprende las diferencias entre estas dos herramientas, úsales en los contextos adecuados, y tendrás un sitio optimizado que funcione como tú lo planeaste. Porque, al final del día, la estrategia SEO no es solo atraer tráfico, sino atraer el tráfico adecuado.
Aquí tienes el video en YouTube:
Esta es la transcripción completa del video:
Hola y bienvenidos a otra charla relámpago de Search Central. Esta vez hablaremos sobre archivos robots.txt, cuándo usarlos, cómo usarlos y cómo puedes probarlos con Google Search Console.
Cuando tienes un sitio web, probablemente quieras que esté indexado en la Búsqueda de Google para que la gente pueda encontrarlo, y todas tus páginas, cuando busque algo en línea. Pero a veces puede haber algunas cosas que no quieres ver en la Búsqueda de Google, o puede que no quieras que el robot de Google dedique tiempo a ellas. Entonces, una etiqueta meta robots o un archivo robots.txt puede ser lo que estás buscando.
Comencemos con la etiqueta meta robots. Es un meta elemento HTML que agregas al encabezado de tu sitio. Su nombre es robots y puede tomar un montón de cosas diferentes como su contenido. Mantengamos este simple por ahora, podemos simplemente configurarlo como «no indexar» para mantener esta página fuera del índice de búsqueda de Google. También podemos ser más granulares y evitar que bots específicos indexen esta página. Digamos que estamos de acuerdo con que el robot de Google indexe la página para la búsqueda, pero no queremos que el robot de Google para Google News indexe la página. Entonces podemos especificar esto en el nombre, en lugar de robots lo llamaremos googlebot-news en su lugar. También podemos especificar varias cosas en una etiqueta, como aquí, no queremos fragmentos para esta página y tampoco queremos traducciones en el resultado de búsqueda.
Alternativamente, también podemos usar un encabezado HTTP en lugar de una meta etiqueta. En este caso, el encabezado se llamaría x-robots y puede contener exactamente los mismos valores que la meta etiqueta robots. Para obtener más información sobre esto, consulte el enlace a nuestra documentación de meta etiqueta robots a continuación.
Bien, ahora discutimos cómo mantener una página fuera del índice, pero a veces desea hacer algo ligeramente diferente: desea decirle al robot de Google que ni siquiera recupere una página específica. Eso se puede hacer con lo que se llama un archivo robots.txt. Vive en la ruta raíz de su dominio, así que digamos example.com/robots.txt. No puede estar en otro directorio, por lo que example.com/products/robots.txt no funcionaría, por ejemplo. Sin embargo, si usa subdominios como shop.example.com, entonces shop.example.com/robots.txt está bien.
Sin embargo, estos archivos son relativamente simples, contienen texto en un formato específico que muchos bots en Internet, como el robot de Google, entienden. Y, por cierto, si usa un creador de sitios web o un sistema de administración de contenido, es probable que haya un complemento, configuración o alguna forma de administrar el contenido del archivo robots.txt. Aquí hay un ejemplo de este archivo: esto permite que cualquier URL que comience con /no-touchy en este dominio sea accedida por cualquier bot que siga el estándar robots.txt. Esto se llama una regla. Las reglas pueden permitir o no permitir URL o patrones de URL para Bots. Tenga en cuenta que no todos los bots en Internet seguirán esto, pero el robot de Google y la mayoría de los otros motores de búsqueda lo harán.
También puede especificar un bot específico por su nombre de agente de usuario y darle instrucciones específicas. Por ejemplo, si desea permitir que un bot llamado Steve bot acceda al directorio que hemos excluido de los otros Bots anteriormente. También puede usar el carácter asterisco como comodín para hacer sus reglas un poco más simples. Además, puede usar robots.txt para apuntar a los Bots a su mapa del sitio si usa la directiva sitemap. Si desea obtener más información sobre robots.txt, consulte los enlaces a nuestra documentación y la documentación estándar del robot.
También me gustaría señalar algo mientras estamos aquí. A veces las personas usan robots.txt y metaetiquetas de robot, o encabezados, para evitar que una página aparezca en los resultados de búsqueda de Google, pero luego se preguntan por qué eso no funciona bien. El problema aquí es que para ver la metaetiqueta del robot o el encabezado, el robot de Google tendría que recuperar y acceder a la página primero, pero no puede hacerlo si evita que Googlebot lo haga en robots.txt. El problema entonces es que Googlebot podría encontrar un enlace a esa página en algún lugar y luego intenta rastrearla de forma cruzada, pero descubre que no se le permite rastrearla. Y luego sabe que la página existe, pero no ve lo que hay en ella, y eso incluye la etiqueta de robot. Por lo que en realidad podría ponerla en el índice, aunque la información limitada que hay para esta página debido a que está bloqueada en robots.txt.
Por lo tanto, para evitar que ingrese al índice, use la metaetiqueta del robot o el encabezado X-robots, pero no lo deshabilite en robots.txt. Si desea ver cómo su robots.txt influye en la Búsqueda de Google, puede consultar el informe robots.txt en Google Search Console o usar el probador robots.txt de código abierto que he vinculado a continuación en la descripción.
Espero que este video te haya ayudado a tener una mejor idea de los diferentes mecanismos que influyen en cómo los robots interactúan con una página y cuándo usar cuál. Por favor, déjanos un comentario a continuación si quieres aprender más sobre temas técnicos y deja un me gusta o suscríbete a nuestro canal si quieres más contenido sobre la Búsqueda de Google de nuestra parte. De todos modos, muchas gracias por mirar y adiós.
Fuentes de la información
- [1] Google Search Central. “How Robots.Txt Works.” YouTube, Video, 4 Dec. 2024, https://www.youtube.com/watch?v=IXNEVt9rZG8.
