Internet está bajo ataque. No por ciberdelincuentes, sino por una avalancha de bots de IA que consumen ancho de banda a un ritmo sin precedentes. El objetivo de estos bots es el de rastrear y recolectar contenido masivo para alimentar modelos de lenguaje y generadores de imágenes. Pero el precio lo están pagando, entre otros, pilares del conocimiento abierto como Wikimedia, así como miles de desarrolladores de software libre.

Wikimedia: conocimiento libre, infraestructura al límite

Desde principios de 2024, la Fundación Wikimedia ha registrado un aumento del 50% en el consumo de su ancho de banda, (especialmente en su repositorio multimedia Wikimedia Commons). En algunos momentos, como tras la muerte del expresidente de EE.UU. Jimmy Carter, este exceso de tráfico derivó en la saturación de conexiones y tiempos de carga lentos para los lectores.

Por desgracia, no se trata de una explosión de interés por parte de sus usuarios humanos: la mayoría del tráfico proviene de bots automatizados —muchos sin identificar— que extraen imágenes, textos y vídeos para entrenar modelos de IA.

En términos prácticos, esto significa que un número creciente de conexiones a sus servidores centrales (el 65%, a estas alturas) están siendo ocupadas por rastreadores que ignoran los límites establecidos, como el archivo 'robots.txt', que tradicionalmente ha servido para regular los accesos automatizados.

En Xataka

Las webs están utilizando este método para frenar a los scrapers de IA. El problema: pueden ignorarlo sin esfuerzo

…