Bajo el título Large Language Models are Zero-Shot Reasoners hay un profundo trabajo sobre IA en el que se explica uno de los problemas de los modelos de procesamiento lenguaje natural. Resulta que esos algoritmos, como el archifamoso GPT-3 de Google, a veces no son capaces de razonar de forma efectiva incluso en cuestiones aparentemente sencillas, como las de problemas aritméticos que resolverían alumnos de primaria.

Pero lo mejor del asunto es la solución. Tan obvia y simplona que resulta asombroso que se hubiera pasado por alto hasta ahora. Añadir frases como «vamos a razonar paso a paso» a los enunciados, para forzar a esos sistemas a utilizar la lógica, a ser realistas o a «pensar como detectives».

Para probar este tipo de algoritmos se utilizan unos benchmarks o tests de referencia como son el MultiArith o el GSM8K. Básicamente, los investigadores enfrentan su algoritmo a todas la batería de preguntas y se anota la puntuación. Toqueteando algunos parámetros o cambiando el algoritmo se puede hacer que mejore o, si el resultado empeora, tirarlo a la basura. Quizá fue una sorpresa que al añadir las frases en cuestión como comienzo de las respuestas, todo mejorara mágicamente. Entre ellas están todas estas:

#1 Pensemos paso a paso.
#2 Primero,
#3 Pensemos esto con lógica.
#4 Resolvamos el problema dividiéndolo en pasos.
#5 Seamos realistas y pensemos paso a paso.
#6 Pensemos como un detective, paso a paso.
#7 Pensemos.
#8 Antes de adentrarnos en la respuesta,
#9 La respuesta va a continuación de la prueba.

Todos estos trucos de …