Un usuario entusiasta ha querido hacer uso de su PowerBook G4 del año 2005 para probar si el sistema es capaz de asimilar y procesar un modelo de lenguaje como Llama 2. Generalmente, utilizar un modelo de lenguaje en local es una tarea que requiere de un equipo decente para que el sistema se mueva con soltura.

Para la tarea, Andrew Rossignol, autor del blog 'The Resistor Network', partió de la eficaz implementación de Llama 2 de Andrej Kaparthy, modificada para dar simplicidad y accesibilidad a este modelo de lenguaje en un amplio abanico de sistemas. De hecho, este fue el mismo código que se usó para ejecutar el LLM (Large Language Model) en un PC con Windows con solo 128 MB de RAM.

Así se ejecuta una IA en local en un equipo de hace 20 años

El PowerBook utilizado para la prueba cuenta con un procesador de 1,5 GHz, apenas 1 GB de RAM y una arquitectura de 32 bits. El proyecto se basa en la adaptación del código de Kaparthy, que permite la inferencia del modelo de Llama 2 a través de un único archivo escrito en C. El autor expresa en el texto la satisfacción del reto que supone llevar esta tecnología a un entorno con recursos muy limitados .

El usuario demostró cómo a través de una serie de modificaciones en el código de Kaparthy, pudo completar la tarea de ejecutar un modelo de lenguaje de la talla de Llama 2 en un sistema tan …