Google ha actualizado un montón de nuevos detalles adicionales en documento de Especificaciones de robots.txt. Jamie Indigo notó estos cambios y explicó lo que se agregó: «Detalles de archivo explícitos para IDN, direcciones IP y nombres de host con números de puerto».
Parece que estos se agregaron el 7 de abril según el documento. Jamie publicó detalles en Twitter diciendo: «Los documentos Robots.txt están llenos de nuevos detalles gracias al trabajo continuo de @methode y @LizziHarvey para hacer del protocolo de robots un estándar de Internet. Las últimas incorporaciones incluyen detalles explícitos de archivos para IDNs, direcciones IP y nombres de host con números de puerto».
Google actualizó este documento por última vez en Julio de 2019.
Discusión completa en Twitter.
