Con el auge de la inteligencia artificial, se ha puesto sobre la mesa el debate sobre el origen de los datos de entrenamiento de los grandes modelos de lenguaje —como GPT-4—… así como sobre el derecho de los creadores de estas IAs a usar dichos datos. En algunos casos, ha llegado a ponerse sobre la mesa de un juzgado.

Estos modelos son entrenados utilizando grandes volúmenes de datos, incluyendo contenido extraído de diversos sitios web. Este proceso, conocido como "scraping web", es una práctica común en investigación, periodismo y archivado digital. Sin embargo, algunos propietarios de sitios web pueden tener reservas sobre cómo se utiliza su contenido en este contexto en particular.

Por ello, recientemente tanto OpenAI como Google han proporcionado indicaciones a aquellos propietarios de sitios web que prefieren evitar que el contenido de sus sitios se incorpore a los enormes datasets de entrenamiento de esta clase de modelos de IA.

Protegiendo nuestro contenido

Gracias a eso, podemos resumir los pasos a dar si quieres excluir a tu sitio web de la 'memoria' de ChatGPT y/o de sus rivales. O, mejor dicho, excluir el contenido futuro que subas a tu sitio web, pues ambas compañías no han ofrecido (ni probablemente ofrezcan nunca) un método para borrar los datos en los que sus IAs ya han sido entrenadas.

Localización del archivo robots.txt dentro de los directorios del servidor web, visualizado mediante una interfaz web.

Si deseas evitar que el contenido de tu …