Cualquiera que tenga un mínimo de conocimientos de creación de sitios web, sabrá de la existencia de los archivos robots.txt, que posibilita a los propietarios de sitios web indicar una serie de directivas de acceso a los rastreadores de contenidos en Internet, como Googlebot, de Google. Pues bien, hasta ahora, los archivos robots.txt, o lo