La clasificación de textos es una de las tareas más básicas del campo de la inteligencia artificial conocido como 'procesamiento del lenguaje natural', uno de los beneficiados por la aparición y evolución de las redes neuronales. Sin embargo, si bien las 'redes neuronales profundas' son capaces de grandes logros a la hora de reconocer patrones…

…para realizar tareas simples como la clasificación temática, suelen resultar innecesariamente complejas, además de demandar enormes cantidades de datos de entrenamiento (más cuanto más aumenta el número de parámetros). Esto obliga a usar niveles de potencia computacional que en ocasiones resultan innecesariamente altos.

Y es que no siempre 'más' es necesariamente 'mejor'. De hecho, no siempre 'más' (potencia) es necesariamente 'más' (rapidez). "No estamos aquí para masturbarnos por el número de parámetros" fue la chocante frase proferida hace unas semanas por Sam Altman, CEO de OpenAI. Pero resulta interesante, también, lo que dijo justo antes de eso:

"La mayoría de vosotros no sabe cuántos gigahercios tiene su iPhone, pero sí que es rápido. Lo que realmente nos importa son las capacidades, y creo que es importante que nos mantengamos centrado en aumentar rápidamente la capacidad [de los modelos grandes de lenguaje]".

"Y si hubiera alguna razón para preferir la progresiva disminución de parámetros o para apostar por tener múltiples modelos trabajando simultáneamente, lo haríamos. [Los proyectos open source] están logrando cosas con 100 dólares 13.000 millones de parámetros que a nosotros nos costaron [lograr] con 10 millones de dólares y 540.000 millones de párametros".

…