Tras la aparición de cada vez mejores y más avanzados modelos de IA, herramientas tales como ChatGPT, Gemini, Copilot y otras tantas son utilizadas a diario para todo tipo de propósitos, algunos cada vez más complejos. Si bien ahora empezamos a ver toda una oleada de modelos con modos de razonamiento profundo, aún hay tareas de las que no podemos depender enteramente del desempeño de este tipo de asistentes.

Sin ir más lejos, investigadores de OpenAI han admitido que, incluso los modelos más avanzados de IA aún no pueden superar a los programadores humanos. Si bien Sam Altman, máximo responsable de la compañía, insiste en que la IA logrará superar a los ingenieros de software de ‘bajo nivel’ a finales de este año, el estudio lanzado por unos investigadores de OpenAI difiere en esa afirmación.

Los modelos de IA son cada vez más avanzados, pero no superan a un programador de software

En este paper, los investigadores de la firma concluyeron que, incluso aquellos modelos más sofisticados, “siguen siendo incapaces de resolver la mayoría de las tareas de programación”. Para ello, utilizaron un benchmark desarrollado recientemente denominado SWE-Lancer.

Este benchmark ha sido desarrollado con la ayuda de más de 1.400 problemas de desarrollo de software del sitio web para programadores autónomos Upwork. Habiendo hecho uso del benchmark, los investigadores hicieron la prueba con tres modelos de IA: o1, GPT-4o y Claude 3.5 Sonnet de Anthropic.

Resultados de los modelos de IA en el benchmark …