Las páginas que devuelven un código de estado del rango 400 no producen ningún efecto negativo en el presupuesto de rastreo. Pero hay una excepción.
El presupuesto de rastreo (o crawl budget) de un sitio web es el límite superior del número total de URLs de un sitio web que Google rastrea en un determinado periodo. Un mito aún existente sobre el crawl budget afirma que la recuperación de URLs que devuelven un código de la serie 4XX, por ejemplo 404 o 410, son perjudiciales para el crawl budget.
Ahora Google ha derribado este mito. En la página de documentación relacionada ahora se puede leer que las páginas con un estado 4XX no se cargan al presupuesto de rastreo. De momento esta nueva incorporación del mito acerca de los estados 4XX y el presupuesto de rastreo está disponible solo en la versión en Inglés. Literalmente dice:
Las páginas que devuelven códigos de estado HTTP 4xx (excepto 429) no desperdician el presupuesto de rastreo. Google intentó rastrear la página, pero recibió un código de estado y ningún otro contenido.
La única excepción es el estado 429 «Demasiadas solicitudes». Se envía cuando un usuario ha hecho demasiadas peticiones en un determinado periodo. Los errores 404 suaves también pueden suponer una carga para el presupuesto de rastreo.
Por lo tanto, no hay ningún problema con respecto al crawl budget de un sitio web si hay muchos errores 40. Más allá todo esto, el presupuesto de rastreo sólo es un problema para los sitios web con muchos cientos de miles de URLs o más.
