Si en tu empresa están apostando todo a los chatbots, tenemos malas noticias: mienten. Más del 60% de las respuestas que ofrecen son erróneas, pese a que las máquinas lo afirmen con total seguridad. Si las interrogas demasiado, cambian su versión al vuelo, y si las interrogas demasiado, deliran. La promesa de una IA que simplifica el acceso a la información choca de frente con una realidad más gris.

Desde el Two Center del Columbia Journalism Review han publicado un estudio comparando ocho motores de IA. Klaudia Jaźwińska y Aisvarya Chandrasekar desarrollaron una metodología estricta y llegaron a varias conclusiones, todas bastante oscuras: los chatbots no son buenos para "negarse a responder preguntas que no podían responder con precisión y ofrecían en su lugar respuestas incorrectas o especulativas". Lo más irónico es que los chatbots premium daban respuestas incorrectas con mayor seguridad que los modelos gratuitos. Es decir, mentir mejor.

En cualquier caso, la mayoría eludían las preferencias del protocolo de exclusión de robots, copiaron artículos y enlazaron sin "ninguna garantía de citación precisa en las respuestas". ¿Y cuál es el que menos miente? El menos usado, parece ser.

Grok 3, la IA de Elon Musk, es la menos fiable de todas

Para el estudio recurrieron, según dicen, a la siguiente metodología: analizaron la precisión de varios chatbots a la hora de identificar info en artículos de prensa, evaluándolos en tres aspectos, encontrar el artículo correcto, identificar la editorial adecuada y proporcionar la URL …