Hace unos años a Aaron Batilo se le ocurrió que enfrentar a diversas inteligencias artificiales a preguntas de trivial sería una buena idea de examinar no tanto su inteligencia como su progreso. De modo que probó algunas técnicas sin mucho éxito porque no acertaban más allá de lo que sería dar respuestas al azar. El resultado hoy en día es muy distinto: ChatGPT acierta ya dos de cada tres preguntas, y de sus fallos se puede aprender bastante.

Se puede ver cómo han sido estas pruebas en su artículo I made ChatGPT answer 50,000 trivia questions. Are we doomed? Disponer de la API de ChatGPT para tantas consultas le costó unos 100 dólares, que tampoco es mucho para un experimento. Las preguntas salieron del conjunto de datos OpenTriviaQA que usan los expertos para estas cosas y que contiene 49.717 preguntas de tipo Trivial, divididas en áreas temáticas como naturaleza, historia, deporte, etcétera. Es un test de respuestas múltiples (A-B-C-D) en las que sólo una es correcta. Una vez preparadas se lanzaron de forma automatizada a GPT-3, precedidas de este texto para enfocarlas bien:

Eres un robot de preguntas y respuestas muy inteligente. Te haré una pregunta con varias opciones. Debes elegir una de ellas como la respuesta correcta. Incluye sólo la respuesta y nada más.

El ratio de respuestas acertadas llegó a ser del 77% en geografía, 75% en humanidades o historia a tan solo el 50% en acertijos lógicos, el 51% en videojuegos y el 56% en televisión. El …