Mejores prácticas y patrones de diseño para soluciones IA con LLMs

sg
Thu, 01/11/2024 - 16:52

En Mobiik, la empresa para la que colaboro, hemos sido testigos en los últimos meses de la creciente demanda de Modelos de Lenguaje de Gran Tamaño (LLMs) en soluciones de software para empresas. Ya estábamos acostumbrados a ofrecer servicios en la nube, pero los LLMs requieren que nos replanteemos cuáles son las mejores prácticas y patrones de diseño específicos para asegurar su adecuado funcionamiento y seguridad. A continuación, te presento algunas ideas y lecciones adquiridas en este terreno recientemente.

Mejores prácticas

1. Dimensionamiento de los servicios de IA y su consumo: La Inteligencia Artificial (IA) exige un mayor costo y recursos en comparación con otras soluciones. Por ejemplo, un solo servicio de IA puede tener un precio más alto que la infraestructura entera de otra aplicación tradicional. En el caso de los LLMs, el uso de texto tanto de entrada como de salida se mide por tokens (un token varía dependiendo del modelo, pero aproximadamente corresponde a una sílaba o una palabra corta), y a mayor número de tokens, mayor la inversión. Por ello, antes de implementar un LLM, es fundamental realizar un análisis de consumo de tokens, determinando el tipo, cantidad y tamaño de los documentos que se procesarán. Del mismo modo es necesario anticipar la cantidad de usuarios y sus interacciones concurrentes.

2. Seguridad: Para entornos empresariales, es recomendable utilizar versiones privadas de servicios …