Múltiples empresas han sido descubiertas ignorando la instrucción explícita en los archivos robots.txt de no rastrear una Web.
Lee el artículo: A las empresas de IA no les importa el ‘robots.txt’ de tu Web e igual te robarán todo el contenido