En febrero de 2024, Sewell Setzer III, un usuario de 14 años que se había enamorado de una variante del chatbot Character.ai, específicamente uno que había sido personalizado por la comunidad para parecerse a un personaje, decidió quitarse la vida tras compartir con la IA, antes de su muerte, pensamientos suicidas, y ahora su madre ha decidido demandar, indica The New York Times.

La abogada Megan L. García, presentó una demanda en la que responsabiliza tanto a la compañía Character.ai como a sus fundadores, Noam Shazeer y Daniel De Freitas, por la muerte de su hijo. Entre sus argumentos, indica que los acusados "eligieron apoyar, crear, lanzar y exponer a menores a una tecnología que sabían era peligrosa e insegura".

De acuerdo con The New York Times, Setzer se encariñó, en los meses previos a su muerte, con un chatbot llamado Daenerys Targaryen, un personaje de Game of Thrones, con el que interactuaba decenas de veces al día en intercambios de contenido romántico y sexual.

Eso no es todo, pues el medio también informa que Setzer, en los momentos previos a su muerte, había interactuado con el chatbot y compartido pensamientos suicidas.

Los cambios en la IA para evitar otra situación parecida

Como resultado de la demanda, la compañía ha decidido, además de expresar su simpatía por la muerte del usuario, describir sus protocolos de seguridad "más estrictos" para evitar que se repitan situaciones similares.

Por ejemplo, la empresa está implementando una …