La inteligencia artificial (IA) ha sido uno de los grandes avances tecnológicos de los últimos años, pero el modelo de desarrollo que ha impulsado sus aplicaciones más famosas (como GPT4 o MidJourney) parece haber agotado sus límites de crecimiento...

...por lo que los investigadores científicos y compañías del sector están buscando alternativas al enfoque tradicional de 'escalar' modelos, mientras enfrentan problemas de eficiencia, costos y resultados decrecientes.

Las limitaciones de escalar

Por "escalar", en el ámbito de los modelos de IA, nos referimos a mejorar su rendimiento aumentando su tamaño y capacidad mediante el uso de más datos y de mayor potencia computacional y parámetros, algo que pasa por entrenar redes neuronales más grandes y complejas utilizando cantidades masivas de recursos computacionales.

Pero la formación de estos modelos masivos no sólo es costosa (puede superar las decenas de millones de dólares por "ciclo de entrenamiento") sino también incierta, pues los investigadores no pueden predecir si el resultado justificará la inversión hasta que el proceso finalice, lo cual puede durar meses.

En cualquier caso, a medida que los modelos se hacen más grandes, la tendencia general es que los costos de entrenamiento, la necesidad de datos de alta calidad y los desafíos técnicos aumentan de manera desproporcionada... mientras que la rentabilidad de dicho esfuerzo se reduce progresivamente.

En Genbeta

"No estamos aquí para masturbarnos por el número de parámetros". El CEO de OpenAI quita importancia a lo que más se …