Seguro que alguna vez hemos oído hablar del archivo robots.txt. Este es un método para evitar que ciertos bots que analizan los sitios web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda (Wikipedia). Se empezó a utilizar en el año 1994 y, 25 años más tarde, Google para estandarizar el fichero de Internet robots.txt y por ello se lo han pedido a la Internet Engineering Task Force (IETF o Grupo de Trabajo de Ingeniería de Internet en castellano).
Leer más...
El artículo Google quiere estandarizar un fichero de Internet que lleva más de 25 años utilizándose escrito por Claudio Valero se publicó en ADSLZone.