Gary Illyes de Google dijo en LinkedIn que si tu servidor devuelve un código de estado HTTP 500/503 durante un periodo prolongado para tu archivo robots.txt, Google puede eliminar tu sitio por completo de la búsqueda.
Esto ocurre incluso si el resto de tu sitio es accesible y no devuelve un código de estado 500 o 503.
No es sólo un código de estado HTTP 500/503 del que tengas que preocuparte, también es un problema si tu sitio tiene esos problemas de tiempo de espera de red.
De nuevo, tiene que ser durante un «periodo prolongado», que no se definió, pero es de suponer que es algo más que un día o dos.
Gary Illyes escribió: «Un archivo robots.txt que devuelva un código de estado HTTP 500/503 durante un periodo prolongado eliminará tu sitio de los resultados de búsqueda, aunque el resto del sitio sea accesible para Googlebot». «Lo mismo ocurre con los tiempos muertos de la red», añadió.
Gary Illyes se refirió al Documentos HTTP y añadió: «si no podemos determinar qué hay en el archivo robots.txt y el servidor no nos dice que no existe un archivo robots.txt, sería mucho más perjudicial rastrear como si todo estuviera permitido».
PGoogle recomienda utilizar un 503 código de estado del servidor para cuando tu sitio web se desconecte o deje de funcionar temporalmente durante menos de un día (horas no varios días). Si se desconecta durante más tiempo, entonces intenta subir un versión estática de tu sitio en su lugar.
Discusión completa en LinkedIn.
