Las matemáticas avanzadas son un terreno complicado porque no sólo requieren cálculo o reglas, sino también pensamiento lógico preciso y creativo. Además, los problemas matemáticos suelen requerir de una comprensión profunda del contexto, algo que las IA actuales no logran dominar.

Por eso, los actuales modelos de IA (como GPT-4) son muy buenos generando código, textos e imágenes, pero cuando se trata de abordar problemas matemáticos que vayan más allá de lo básico, por requerir de razonamiento avanzado, la prometedora inteligencia artificial naufraga bastante rápido.

Las soluciones matemáticas exigen pensar paso a paso, y un único error puede invalidar todo el trabajo

Por qué FrontierMath es un desafío tan notable

Sí, es cierto: ya existen pruebas como GSM/8K, en las que las IA logran puntuaciones superiores al 90%, pero muchas veces la clave radica en que los resuelven meramente por haber practicado antes con problemas similares (un mero caso de 'contaminación de datos').

Ahora, un nuevo e innovador punto de referencia, FrontierMath, está exponiendo lo lejos que está la IA a la hora de estar en condiciones de suplir a los matemáticos.

En Genbeta

Bill Gates tenía casi decidido ser matemático. Esto fue lo que le hizo apostar por los ordenadores

Esta prueba fue diseñada por Epoch AI con el objetivo específico de exponer estas limitaciones. Los problemas no se parecen a ningún conjunto de datos de entrenamiento existente y requieren razonamiento profundo, …