Como se anunció el 18 de octubre de 2021, Bing y Yandex están adoptando IndexNow, un protocolo compartido que permitirá a los propietarios de sitios web notificar a estos motores de búsqueda cada vez que se crea, actualiza o elimina el contenido de su sitio web.
Esto podría ser la pieza más importante de noticias en el mundo de SEO técnico en lo que va de año, ya que Google comenzó a utilizar el Googlebot evergreen Chromium para representar el contenido, aunque no hay un cambio significativo por ahora.
Es un paso de gigante hacia la limitación de la actividad de rastreo en favor de las API de indexación. Ya sea que Google siga su ejemplo o no, IndexNow es una señal de lo que vendrá y una clara señal de que los canales de indexación existentes están sujetos a cambios.
IndexNow es un protocolo que permite a los propietarios de sitios notificar a varios motores de búsqueda sobre contenido nuevo o modificado en sus sitios web.
A pesar de que todavía mucho detalles, lo más probable es que Bing decidió construir en su API de envío de contenido, publicado en septiembre de 2021, y crear un protocolo de indexación abierta compartido con otros motores de búsqueda que quieran participar.
El sitio web oficial dice lo siguiente acerca de la posibilidad de la participación: “motores de búsqueda que adoptan el protocolo IndexNow de acuerdo en que las URL presentadas serán compartidos de forma automática con todos los otros motores de búsqueda participantes. Para participar, los motores de búsqueda deben tener una presencia notable en al menos un mercado«.
¿Qué vas a leer?
Cómo utilizar IndexNow
Para hacer ping a los motores de búsqueda participantes (por el momento, estos incluyen Bing y Yandex), primero debes verificar la propiedad de tu dominio.
Para utilizar IndexNow deberás generar una API key para el dominio con el que estés trabajando. Hacerlo es muy sencillo, simplemente siguiendo los pasos en la web dedicada para la implementación de IndexNow de Bing Webmaster
Ahora bien, para hacerlo hay dos opciones para hacerlo:
- Crea un archivo .txt en el directorio raíz de tu host que contenga una clave codificada en UTF-8. El archivo también debe tener la clave utilizada como su nombre, como https://www.example.org/your-key.txt que contiene «tu-API».
- Crea uno o varios archivos de texto en otras ubicaciones dentro del mismo host y proporcione su ubicación cuando envíe URL para indexar.
Luego, puedes enviar una sola URL o un lote de hasta 10000 URL utilizando los siguientes métodos:
- Envía una sola URL enviando una solicitud con la URL y su clave, así:
https://<searchengine>/indexnow?url=https://www.example.org/product.html&key=88b22a29bc244d619f899d57317cb9fa
Recuerda reemplazar <searchengine> ya sea con www.bing.com o yandex.com. - Presentar un máximo de 10000 URL utilizando una petición POST, así:
POST /IndexNow HTTP/1.1
Content-Type: application/json; charset=utf-8
Host: <searchengine>
{
"host": "www.example.org",
"key": "88b22a29bc244d619f899d57317cb9fa",
"urlList": ["https://www.example.org/url1", "https://www.example.org/folder/url2", "https://www.example.org/url3"]
}Una vez más, recuerde que debe reemplazar <searchengine> ya sea con www.bing.com o Yandex.com.
Por ahora, Google no es compatible con IndexNow, por lo que usar https://www.google.com/indexnow?url=url-changed&key=your-key tendrá el mismo efecto que usar https://www.google.com/ HeyGooglePleaseIndexMyContent.html, es decir, sin ningún efecto.
Una vez dicho esto, enviando una solicitud a cualquiera de Bing o Yandex, dará lugar a los motores de búsqueda estén informados: “a partir de noviembre de 2021, los motores de búsqueda habilitados para IndexNow compartirán de inmediato todas las URL enviadas a todos los otros motores de búsqueda IndexNow habilitado, por lo que cuando notifica a uno, notificará a todos los motores de búsqueda«.
Automatización del envío de URL
Aunque el protocolo se acaba de introducir, sus creadores deben haber estado trabajando con varios proveedores de software detrás de las cortinas, porque a las empresas les gusta:
- Wix,
- Duda,
- Akamai y
- Cloudflare,
Además, sitios web populares como GitHub, eBay o LinkedIn adoptaron previamente la API de envío de URL de Bing y es muy probable que también se muevan hacia IndexNow.
Incluso WordPress está trabajando en el mismo sentido, Bing proporciona el código de fuente abierta para apoyar IndexNow para ayudar a WordPress a adoptar rápidamente el protocolo compartido.
Si no estás usando cualquiera de estos servicios, sigue siendo relativamente fácil de automatizar el envío de peticiones POST y estoy seguro que pronto tendremos varias herramientas por ahí que le permitirá utilizar IndexNow sin necesidad de escribir código.
Por que utilizar IndexNow
De acuerdo con el anuncio oficial: “Sin IndexNow, puedes tardar días o semanas para que los motores de búsqueda descubran que el contenido ha cambiado, ya que los motores de búsqueda no rastrean cada URL a menudo. Con IndexNow, los motores de búsqueda conocen de inmediato las URLs que han cambiado, lo que les ayuda a priorizar el rastreo de estas URL y, por lo tanto, limita el rastreo orgánico para descubrir contenido nuevo».
Tanto Bing y Yandex actualmente tienen en marcha mecanismos que se pueden utilizar para solicitar un nuevo rastreo de su contenido, y es lo mismo con Google (aunque Google no permite la presentación de varias direcciones URL a la vez).
Ninguno de estos mecanismos garantiza que tu contenido nuevo se indexe de inmediato, pero mejorán las posibilidades de que los motores de búsqueda lo detecten más rápido de lo que normalmente lo harían.
En la actualidad, la principal ventaja de utilizar IndexNow es que mediante la notificación de un motor de búsqueda. Además, puedes enviar URL en lotes de hasta 10.000, lo cual es esencial para sitios grandes en una primera instancia.
Esto puede llegar a ser aún más atractivo si más motores de búsqueda soportan este protocolo compartido en el futuro. Si Google se uniera a Bing y Yandex, cambiaría las reglas del juego.
Cuándo es útil pedir a los motores de búsqueda que vuelvan a rastrear
Puedes utilizar IndexNow (y todos los demás mecanismos de envío de URL) para ayudar a que el contenido nuevo se indexe más rápido, pero hay muchos otros casos de uso:
- Si realizas cambios significativos en tu contenido y cree que merece una clasificación mejor, solicitar un nuevo rastreo puede generar resultados positivos más rápidos.
- Si tienes páginas 404 que deseas eliminar del índice, podría suceder más rápido si se vuelven a rastrear rápidamente.
- Si rediriges una página, puede solicitar un nuevo rastreo para ver que su redireccionamiento se aplique antes.
Aún así, lo más importante es que «los motores de búsqueda generalmente darán prioridad a las URL de rastreo enviadas a través de IndexNow frente a otras URL«. El uso de IndexNow no hará que Bing o Yandex rastreen más tu sitio, pero puedes ayudarlo a influir en lo que se rastrea con una prioridad.
¿Las API de indexación son el futuro de los motores de búsqueda?
Tal como está ahora, IndexNow no es una revolución importante en la búsqueda, aunque es genial ver que los motores de búsqueda trabajan juntos para construir algo que pueda mejorar la web para todos.
Esta iniciativa apunta a un hecho de suma importancia: el proceso de rastreo de contenido existente que los motores de búsqueda es la cuota, al menos en cierta medida, sujeta a cambio.
El proceso actual es la siguiente: los motores de búsqueda buscan nuevas direcciones URL a la visita en los sitios web que ya conocen, siguiendo los enlaces y mapas de sitio on-page. Luego, hacen una lista de URL que se priorizan en función de varios factores: son en su mayoría confidenciales, pero una buena regla general es que la coherencia, la gran calidad y la popularidad de su dominio harán que los motores de búsqueda regresen.
Lo que implica este proceso es la actividad de rastreo constante, que los motores de búsqueda necesitan para expandir a medida que la web crece exponencialmente. Tienen pocas opciones: hay contenido excelente y relevante que aparece en todas partes y eso se suma a los sitios web populares existentes que necesitan un rastreo regular para mantener el índice de búsqueda lo más actualizado posible.
¿Qué pasa si algunos de los proceso de descubrir nuevos contenidos podría ser sustituido por un mecanismo que permita a los propietarios del sitio informar de forma proactiva a los motores de búsqueda cuando se hacen cambios en sus sitios web?
Si este proceso resulta ser una buena alternativa, los motores de búsqueda podría potencialmente ahorrar recursos malgastados en el rastreo.
El renderizado es caro
Rastrear miles de millones de páginas es definitivamente un desafío, pero les permite ver completamente su contenido, lo que consume recursos de manera absurda.
Google está sin duda por delante de la competencia cuando se trata de la capacidad para procesar y analizar el contenido web a gran escala. Mientras que otros se están poniendo al día, es posible que los motores de búsqueda más pequeños nunca puedan gastar suficientes recursos en renderizado para competir realmente con Google en lo que respecta a la calidad de sus resultados de búsqueda.
IndexNow realmente podría hacer una diferencia, especialmente para pequeños motores de búsqueda, si es posible juntar varias empresas para unir fuerzas y utilizar una sola base de datos de páginas prestados a construir sus índices de búsqueda.
El tiempo dirá si esta iniciativa alentará a Google a utilizar los datos de IndexNow para complementar su propio índice de búsqueda o crear su propia solución de envío de URL que sea más escalable que la que tenemos actualmente en Google Search Console.
De cualquier manera, IndexNow es un innovador intento de resolver uno de los mayores desafíos que los motores de búsqueda actualmente: la abundancia de contenido que necesita ser rastreadas y se hacen mientras que una media página web se hace más pesado cada año.
