No se trata solo de crawl budget, sino también de la demanda de rastreo, la frecuencia de rastreo, los errores técnicos y la capacidad de rastreo

TL/TR

Si las estadísticas de rastreo varían significativamente, es quizás los sistemas de Google tenían problemas para acceder al contenido con la suficiente rapidez. Además de la cantidad de solicitudes, John Mueller afirmó que también tienen en cuenta la demanda de rastreo, una medida de cuánto puede realmente querer Google rastrear ese sitio.

En el English Google SEO office-hours del 22 de Octubre de 2021, John Mueller de Google, respondió a uno de los participantes al que le preocupaba que las solicitudes de rastreode su web se habían reducido rápidamente en más del 90 por ciento.

Verificaron todos los aspectos de acuerdo con los documentos para desarrolladores de Google, como robots.txt y otros posibles errores sin encontrar ninguna explicación.

La pregunta rendó sobre si había algo que pudieran estar perdiendo como resultado.

Muller explicó que quizás los sistemas de Google tenían problemas para acceder al contenido con la suficiente rapidez. Además de la cantidad de solicitudes, afirmó que también tienen en cuenta la demanda de rastreo, una medida de cuánto puede realmente querer Google rastrear ese sitio.

Para sitios web razonables, la demanda de rastreo tiende a ser bastante estable.

Si ven mucho contenido nuevo, es posible que la demanda de rastreo aumente significativamente. Sin embargo, este tipo de cambios suelen ser bastante lentos a lo largo del tiempo.

Es directamente proporcional a los problemas técnicos del servidor en donde esté alojada la web. Si Google detecta errores importantes en el servidor, podría dejar de rastrear el sitio hasta que se resuelvan.

Esto sucede aproximadamente en el minuto 7:29 en el video.

Transcripción del Hangout de John Mueller

Participante 7:29
Hola John. Es bueno tenerte aquí. Bien, mi primera pregunta es, recientemente, las solicitudes de rastreo en el sitio de mi empresa han disminuido, casi en más del 90 por ciento. Y hemos comprobado todos los aspectos, según el documento oficial de Google, como robots.txt. Y también queremos saber, queremos conocer otros posibles factores técnicos que pueden provocar una caída repentina de las solicitudes de rastreo. ¿Qué aspectos principales recomiendas que también revisemos?

Mueller 8:09
Bien, lo que me parece, nuestros sistemas tienen problemas para acceder a tu contenido con la suficiente rapidez. Entonces, cuando se trata de la cantidad de solicitudes que hacemos en un sitio web, tenemos dos tipos de cosas que equilibramos, por un lado, la demanda de rastreo, que es cuánto queremos rastrear desde un sitio web.

Y asumiendo que este es un sitio web razonable, entonces la demanda de rastreo generalmente se mantiene bastante estable. Puede subir, si vemos mucho contenido nuevo, puede bajar si vemos muy poco contenido. Pero, por lo general, estos cambios son muy lentos en el tiempo. Y por otro lado es la capacidad de rastreo. Esto es lo que creemos que puede soportar el servidor el rastreo, sin causar ningún problema. Y esto es algo que evaluamos a diario. Y puede reaccionar con bastante rapidez si creemos que hay un problema crítico en el sitio web.

Entonces, para problemas críticos, pensamos en cosas como errores del servidor, si vemos muchos errores del servidor, si no podemos acceder al sitio web correctamente, si la velocidad del servidor disminuye significativamente, entonces no es el momento de renderizar una página, pero el tiempo para acceder a los archivos HTML directamente. Y esos son los tres aspectos que influyen en eso.

Y si, por ejemplo, la velocidad disminuye significativamente, lo verás en el informe de estadísticas de rastreo en Search Console. Y eso es algo en lo que, como si pensamos que causamos problemas, por rastrear demasiado, lo reduciremos con bastante rapidez.

Participante 10:03
Oh, entonces el tiempo de respuesta es muy relevante con, muy relacionado con, la solicitud de rastreo, ¿verdad?

Mueller 10:16
Si.

Participante 10:18
Está bien. Entonces, ¿crees que los códigos de respuesta de los enormes 5xx y 4xx también pueden reducir la frecuencia de rastreo?

Mueller 10:28
Los errores 5xx definitivamente, aunque son errores del servidor, que consideraríamos potencialmente problemáticos. Los errores 400 son menos problemáticos, porque básicamente el contenido no existe, por lo que podemos rastrear normalmente. Entonces, si una página desaparece, no hay problema. Si tiene un error del servidor, eso es un problema.

Participante 10:49
Entonces, ¿cuántos niveles de código 5xx? ¿Lo considerarías la causa principal de errores del servidor? ¿Como si tuviéramos 100 páginas, y tal vez entre 15 páginas volviéramos un 5xx debido a algunos errores técnicos? ¿Pensará el robot de Google que nuestro servidor puede sobrecargarse? Como, ¿cómo, cuánto por ciento sería eso?

Mueller 11:20
No creo que tengamos un número fijo. Lo que verificaría es si disminuyó recientemente la velocidad, iría a la consola de búsqueda y a la sección de estadísticas de rastreo. Y vería si uno de esos números cambió significativamente. ¡Como tendrás el gráfico! Y luego pueden ver como, en esta fecha, vimos el cambio. ¿Y aumentaron los errores 5xx? ¿O bajaron? ¿O la velocidad está cambiando demasiado allí? ¿Cualquier cosa como eso?

Participante 11:52
Oh ya veo. Entonces, si, asumiendo que encontramos el problema crítico, tal vez sea peor, debido al tiempo de respuesta, o tal vez a los errores del servidor. Si solucionamos este problema, ¿quizás una o dos semanas? ¿Cuándo volveremos a ver las correlaciones con las solicitudes normales normales, como …?

Mueller 12:17
Actualizamos la frecuencia de rastreo a diario. Así que probablemente dentro de un par de días, verás que paso a paso aumenta de nuevo.

Participante 12:28
Oh, entonces tal vez, tal vez si lo arreglamos en la dirección correcta, podemos ver cómo aumenta.

Mueller 12:36
Si.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

No se trata solo de crawl budget, sino también de la demanda de rastreo, la frecuencia de rastreo, los errores técnicos y la capacidad de rastreo

Ir arriba