Cuando OpenAI lanzó al público su modelo de lenguaje GPT-3, supuso todo un referente en cuanto al desarrollo de complejos modelos de lenguaje. Sin embargo, en aras de seguir entrenando y mejorando las posibilidades y capacidades de su inteligencia artificial, la compañía ya lleva un tiempo aprovechando las bondades de GPT-4, un modelo mucho más preciso y completo, y que ya hemos visto en herramientas como ChatGPT y Bing Chat (aunque esta última edulcorada con la tecnología de Microsoft y algunas limitaciones).

Con el fin de seguir explorando las capacidades de su modelo de lenguaje, OpenAI está realizando labores de interpretabilidad en GPT-4. Esto quiere decir que la compañía está utilizando su modelo de lenguaje más reciente para generar explicaciones de GPT-2, el modelo que la compañía lanzó en 2019. De esta manera, la compañía busca poder comprender las 'neuronas' del último mencionado y así hacer que su IA pueda asistir para las labores de investigación de modelos de lenguaje.

Una IA explicando lo que dice otra IA

Si bien entrenar a una inteligencia artificial por medio de otra no es algo nuevo, es interesante conocer cómo OpenAI aprovecha la limitación de sus previos modelos de lenguaje para investigar acerca del funcionamiento de los mismos. En su reciente estudio, utilizan a GPT-4 para generar explicaciones sobre fragmentos generados por GPT-2. Todas las explicaciones obtenidas han sido recopiladas en un dataset junto a la nota obtenida de cada una de ellas.

Las …