El Centro de Investigación de Modelos Fundacionales del departamento de Inteligencia Artificial de la Universidad de Stanford ha publicado un trabajo titulado Grading Foundation Model Provider’s Compliance with the Draft EU AI Act donde deja entrever lo que nos temíamos: que los modelos de IA actuales de las mayores empresas no cumplen en gran medida con los requisitos de esta Ley de IA de la UE, la primera normativa sobre inteligencia artificial como tal que se ha aprobado en Europa.

El trabajo es fácil de entender a simple vista: asigna una calificación o número de «estrellitas» entre 0 y 4 a cada apartado mencionado en la ley (filas) a cada uno de los modelos analizados (columnas), que provienen de diferentes empresas: GPT-4 de OpenAI, Stable Difussion v2 de Stability, Claude de Anthropic, PaLM 2 de Google, Bloom de Hugging Face, LLaMa de Meta/Facebook, Cohere y otros. Marcas que se echan en falta: Bing de Microsoft, porque utiliza GPT-4, WatsonX de IBM, que no ha entrado y Siri de Apple, que ni se ha considerado.

De los 48 puntos posibles los mejores modelos son los de Hugging Face (36 de 38), GPT-Neox (29) y PaLM 2 (27); los peores en cambio son Luminous (5 de 38), Anthropic (7 de 48) y Jurassic-2. Ojito con Hugging Face que está sorprendiendo de mucha gente con sus desarrollos abiertos y colaborativos.

Según cuenta el informe, la mayoría carecen de transparencia con respecto a los datos, cómo hacen sus cálculos y esconden sus algoritmos, …