Reúne en Castel Gandolfo a 30 premios Nobel, 20 expertos en IA y un total de 200 académicos, expertos y organizaciones internacionales
El objetivo era lograr compromisos reales y verificables para que la IA tenga un control humano al servicio del bien común de todos. Así lo expresó el organizador de las jornadas vaticanas para “desarmar” la IA, Alessio Pecorario.
Probablemente se trate de la reunión internacional más importante de los últimos tiempos a pesar de haber pasado relativamente desapercibida. Quizás porque el foco de Ormuz y el Mundial hayan disipado el foco informativo. O tal vez porque la prevención no venda. O a lo mejor porque realmente la Declaración de Roma no es políticamente vinculante, aunque estoy seguro de que ejercerá una fuerza moral muy relevante.
Porque rara vez el mundo es capaz de juntar a 30 premios Nobel, 20 expertos en IA, empresas del sector (OpenAI, Google DeepMind y Anthropic), organizaciones internacionales, ex jefes de Estado y de gobierno y académicos de varias universidades de más de 30 países. Una especie de ONU moral de alto nivel…
No era una reunión académica ni religiosa. Sino un encuentro humano con el objetivo de evitar que la IA sea capaz de determinar objetivos militares o de utilizar armas nucleares sin supervisión humana.
El objetivo no era reflexionar genéricamente sobre las ventajas y peligros de la tecnología, sino afrontar una amenaza muy concreta: que la inteligencia artificial termine interviniendo de manera decisiva en la selección de objetivos militares, en la interpretación de una alerta o incluso en la orden de utilizar un arma nuclear.
La ‘Declaración de Roma por una paz desarmada y desarmante’ no es una simple declaración de deseos o intenciones. No la firman Miss universos sino que establece objetivos calendarizados, verificables y con sistemas de rendición de cuentas.
El primer compromiso y el más relevante es que ningún sistema de inteligencia artificial podrá ordenar, autorizar o ejecutar el lanzamiento de un arma nuclear. La decisión deberá corresponder siempre a una autoridad humana identificable, sometida a responsabilidad política y jurídica. El mando, el control y el lanzamiento debe de ser humano.
Y no basta con que haya un humano que finalmente apriete un botón. La Declaración exige que los algoritmos que analizan alertas, proponen respuestas o calculan objetivos estén físicamente desconectados de la autoridad de lanzamiento. También excluye que una máquina pueda seleccionar automáticamente objetivos nucleares o modificar un plan de ataque durante una crisis.
La razón es sencilla. En una situación de máxima tensión, un sistema puede interpretar erróneamente el movimiento de un satélite, un fallo informático o una maniobra militar. El poco tiempo para digerir la información haría que de hecho fuera la IA quien decidiera por el hombre. Lo que se diseñó para ayudar puede sustituir de hecho. Es lo que los expertos califican de “sesgo de automatización”: el hombre tinder a confiar en la máquina, aparentemente infalible. Lo que en los mercados puede producir pérdidas, en una guerra puede desencadenar una escalada sin límites.
Además, la Declaración de Roma pide a los estados nucleares que se sometan a revisiones de seguridad y que establezcan sistemas que les permitan proteger sus infraestructuras nucleares de ciberataques. En concreto reclama verificación, evaluaciones internas rigurosas y evaluaciones independientes.
Lo más sorprendente ha sido un llamado a frenar de manera coordinada el desarrollo de la IA más avanzada El objetivo es tener un desarrollo que no se nos vaya de las manos, que podamos controlar en términos de “bien común digital”. Por eso reclaman mecanismos de control global y de coordinación entre estados para evitar que una IA descontrolada nos lleve a una guerra mundial y nuclear de consecuencias impredecibles. Porque los algoritmos no respetan fronteras ni las bombas nucleares tienen pasaporte.
Por supuesto, respetando siempre la soberanía y el principio de subsidiariedad. Cooperación entre naciones, pero con limitación del poder; sí al progreso tecnológico pero con supervisión moral. Desarmar la ética -dice el papa León XIV- es liberarla de la competición por el dominio militar, económico y político y enfocarla en el servicio a la persona.
¿Buenas intenciones? Es posible. Porque ni Google DeepMind ni OpenAI han querido sumarse a la la Declaración de Roma ni -previsiblemente- asumir los compromisos restrictivos; evaluaciones independientes, informes periódicos, protocolos ante incidentes tecnológicos, etc. Argumentan que el hecho de que ellos se descuelguen no impediría que empresas ligadas a regímenes totalitarios apretaran el acelerador con un resultado peor. Anthropic -sin embargo- sí se ha sumado al llamado del “slow-down” del Vaticano.
En todo caso, la advertencia está hecha. Porque los riesgos están ahí y se van acelerando de manera exponencial.
Esperemos que las grandes naciones y las grandes tecnológicas escuchen el llamado de la Declaración de Roma. Por el bien de todos.
Si te gustó este comentario, reenvíalo a tu gente. Que estén bien informados.
Que tengas un excelente domingo. Un abrazo,
Luis Losada, director de Actuall y todo el equipo
PD. Comparte este email con los tuyos. Que la reunión de Castel Gandolfo no pase desaparecibida ;)
