Más de la mitad del tráfico diario de Internet está generado de forma automática por bots donde no intervienen los humanos en ningún punto (más allá de la creación del bot, claro). Esto nos da una idea de la cantidad de robots que cada día hacen operaciones en la red.
Leer más...
El artículo Qué es y para qué sirve el archivo Robots.txt de una página web escrito por Manu Iglesias se publicó en ADSLZone.