El profesor canadiense Yoshua Bengio, considerado uno de los padres de la inteligencia
artificial, presentó su nueva organización dedicada a la IA responsable, cuyo
objetivo es, sobre todo, diseñar software capaz de evitar los abusos de los agentes de IA.
Desde hace varios años, este ganador del Premio Turing (2018), también conocido como el
Nobel de la informática, viene advirtiendo de los riesgos asociados al desarrollo de la IA, ya
sea en términos de uso malicioso o de que el propio software salga mal.
«Los sistemas más avanzados ya están mostrando signos de autopreservación y
comportamiento engañoso», explica el investigador en un comunicado publicado este martes.
«Y esto sólo va a acelerarse a medida que aumenten sus capacidades y autonomía», anuncia.
Su nueva organización sin ánimo de lucro, llamada LawZero, pretende ser «una respuesta a
estos retos».
Varios ejemplos recientes han confirmado que la IA ha alcanzado recientemente nuevos
niveles de sofisticación, entre ellos un estudio de la start-up Anthropic.
En una simulación, la nueva interfaz de IA generativa de Anthropic, Claude 4, fue advertida de
su inminente sustitución por un ingeniero de software.
Acorralada, intentó por iniciativa propia chantajear al ingeniero para disuadirle de
deshacerse de ella.
Una de las misiones de LawZero es «proponer una forma de supervisar a los agentes de IA», la
nueva generación de modelos generativos de IA capaces de realizar un sinfín de tareas de
forma autónoma, desde buscar en Internet hasta llamar a un cliente o escribir un programa
en código.
«Uno de los primeros objetivos es desarrollar una forma de IA que pueda utilizarse como
salvaguarda para garantizar que la IA se comporta bien», describe Bengio en un vídeo de la
web de LawZero.
«La IA puede ser extremadamente beneficiosa si nos aseguramos de que no va a hacer daño a
la gente», «ya sea porque esté en las manos equivocadas o de forma autónoma», agrega.
LawZero también quiere trabajar en una IA con autonomía limitada para su uso en
investigación científica.
La organización cuenta ya con más de 15 investigadores y ha recibido varias aportaciones
económicas, una de ellas de Schmidt Sciences, organización benéfica creada por el ex jefe de
Google Eric Schmidt y su esposa Wendy.
LawZero se puso en marcha bajo los auspicios del Instituto de Montreal para el Aprendizaje
de Algoritmos (Mila), fundado en 1993 por Bengio.
Lea: La verificación con IA genera desinformación https://larazon.bo/mundo/2025/06/02/la-verificacion-con-ia-genera-desinformacion/
