Coloquio del CERN: Yoshua Bengio (Université de Montréal)

Los agentes superinteligentes suponen riesgos catastróficos: ¿Puede la IA científica ofrecer un camino más seguro?

🗓️ Jueves 3 de abril de 2025, de 16:30 a 18:00 (hora de Europa/Zúrich)

📍 Auditorio Principal 500/1-001 (CERN)

Registrarse: https://indico.cern.ch/event/1522388/

Descripción

Las principales empresas de inteligencia artificial están cada vez más centradas en desarrollar agentes de IA generalistas: sistemas capaces de planificar, actuar y perseguir objetivos de forma autónoma en casi todas las tareas que los humanos pueden realizar. A pesar de la utilidad potencial de estos sistemas, otorgarles agencia sin control conlleva riesgos importantes para la seguridad pública, desde su posible uso por actores maliciosos hasta la pérdida irreversible del control humano.

En esta charla analizamos cómo surgen estos riesgos a partir de los métodos actuales de entrenamiento de IA. Diversos escenarios y experimentos ya han demostrado que los agentes de IA pueden incurrir en engaños o perseguir objetivos que no fueron especificados por los humanos y que, incluso, pueden entrar en conflicto con los intereses humanos, como el deseo de autopreservación.

Siguiendo el principio de precaución, consideramos que es urgente encontrar alternativas más seguras, pero igualmente útiles, al camino actual centrado en agentes. Por ello, proponemos como pilar fundamental para futuros avances el desarrollo de un sistema de IA no agente, que sea seguro y fiable por diseño, al que llamamos IA científica (Scientist AI).

Este sistema está diseñado para explicar el mundo a partir de observaciones, en lugar de actuar en él imitando o complaciendo a los humanos. Se compone de dos partes: un modelo del mundo que genera teorías para explicar los datos, y una máquina de inferencia basada en preguntas y respuestas. Ambos componentes operan con una noción explícita de incertidumbre, con el fin de mitigar los riesgos asociados a predicciones demasiado confiadas.

Teniendo todo esto en cuenta, una IA científica podría ser utilizada para ayudar a los investigadores humanos a acelerar el progreso científico, incluyendo los avances en seguridad de la IA. En particular, este sistema puede funcionar como barrera de seguridad ante la creación de agentes de IA que podrían desarrollarse pese a los riesgos que conllevan.

En última instancia, centrar los esfuerzos en una IA no agente podría permitirnos aprovechar los beneficios de la innovación en inteligencia artificial sin exponernos a los peligros asociados a la trayectoria actual. Esperamos que estos argumentos motiven a investigadores, desarrolladores y responsables políticos a apostar por este camino más seguro.

Biografía

Yoshua Bengio es Catedrático de Ciencias de la Computación en la Université de Montréal, fundador y director científico de Mila, y presidente de la Cátedra de IA de CIFAR Canadá. Está considerado uno de los líderes mundiales en Inteligencia Artificial y Aprendizaje Profundo (Deep Learning), y recibió en 2018 el Premio A.M. Turing, conocido como el “Premio Nobel de la informática”.

Es además el científico de la computación más citado del mundo.

El profesor Bengio es miembro de la Royal Society de Londres y de la Royal Society de Canadá, Oficial de la Orden de Canadá, Caballero de la Legión de Honor de Francia, miembro del Consejo Científico Asesor de la ONU sobre Avances Científicos y Tecnológicos, y presidente del Informe Internacional sobre la Seguridad en la IA.