La llegada de las IAs generativas ha supuesto un vuelco para la industria de la tecnología. La aparición de ChatGPT nos aportó nuevos modos de trabajar, ayudándonos a hacer más fácilmente tareas mecánicas o incluso inspirándonos para ir más allá. A principios de junio de 2023, por fin teníamos app nativa para instalar ChatGPT en el iPhone.

La ciencia detrás de esta nuevas tecnologías se basa en la supercomputación: servidores con una capacidad de cálculo inmensa que procesan nuestras peticiones y sus algoritmos, en base a la información previa alimentada en el sistema, son capaces de contestarnos en lenguaje natural.

Un modelo de lenguaje en la nube

Sin embargo, una de las limitaciones de estos nuevos sistemas es precisamente esta inmensa capacidad de cálculo necesaria para contestarnos. Y no sólo para elaborar la respuesta, también para interpretar lo que decimos: nuestras frases se “trocean” en unidades mínimas interpretables por la máquina (llamadas “tokens”) y estos datos se envían al servidor que los procesa.

Estamos en una edad tempranísima de todo esto. Apenas llevamos dos años explorando las posibilidades de estos nuevos modelos de lenguaje, que son fabulosos para ayudarnos en nuestro día a día, pero tienen un pequeño inconveniente: necesitamos conexión a internet para enviar los tokens de nuestras preguntas de ida, y recibir la respuesta de vuelta.

Esto es debido a esta necesidad enorme de capacidad de cálculo de los billones de parámetros que se procesan para componer esta respuesta. Sin embargo, personalmente, …