A mediados del año pasado Eliezer Yudkowsky publicó un artículo titulado 'La ruina de la IA general: una lista de formas en que podemos morir', que fue contestado al poco tiempo por Paul Christiano en su propio artículo 'Dónde concuerdo y discrepo de Eliezer'.

Yudkowsky es el famoso experto en inteligencia artificial que no firmó la carta abierta en la que Elon Musk y otras personalidades solicitaban una moratoria en el desarrollo de nuevas IAs avanzadas… porque se quedaba muy corta, y resumía su posición con la frase "La IA nos matará a todos".

Paul Christiano dirige hoy en día el Alignement Research Center, una institución dedica a estudiar la 'alineación' —esto es, el intento de alinear los intereses de futuras IAs autónomas con el interés general de la Humanidad— y antes de eso había dirigido el equipo de alineación de modelos de lenguaje de la propia OpenAI, los creadores de ChatGPT.

De hecho, en su etapa en dicha compañía fue el principal responsable del desarrollo de la técnica conocida como "Reinforcement Learning from Human Feedback" (RLHF), destinada a entrenar sistemas de inteligencia artificial combinando el aprendizaje por refuerzo con la retroalimentación humana, de modo que la IA 'aprende' a tomar decisiones con un sistema de castigos e incentivos juzgado por criterios humanos.

En Genbeta

El CEO de OpenAI ya tiene el búnker preparado mientras su compañía planifica cómo hacer frente a la creación de una 'IA fuerte'
…