Un informe falso generado por IA estuvo a punto de desencadenar un conflicto armado entre EEUU y China
En la primavera de este año, en plena guerra con Irán, un informe de inteligencia circuló por todo el ejército estadounidense y encendió todas las alarmas: un buque chino en Oriente Medio transportaba componentes de un programa de armas nucleares. El ejército de EEUU se movilizó de inmediato con planes para interceptar la embarcación, según cuatro fuentes familiarizadas con el episodio. De acuerdo con dos de esas fuentes, miembros armados de las fuerzas militares estadounidenses se estaban preparando para abordar el barco. Aviones militares estaban en el aire, según confirmaron una de esas fuentes y otra persona familiarizada con el incidente. Fue solo momentos antes de la operación planificada cuando los responsables profundizaron en el informe elaborado por un analista del mando de operaciones especiales y descubrieron que había sido generado con ayuda de inteligencia artificial: el chatbot que el analista había utilizado identificó de forma incorrecta el material que transportaba el buque. CNN no pudo determinar cuál era la carga real que fue mal identificada. El informe, según una de las fuentes, era "completamente falso". Pero también "casi provocó una guerra", añadió la misma fuente. Cualquier operación estadounidense contra un buque chino podría haber desencadenado un conflicto armado entre las dos potencias.
La proliferación de la IA en el ejército y los servicios de inteligencia, sin estándares claros
En todo el ejército estadounidense y en la comunidad de inteligencia, los responsables están impulsando la integración de la IA en prácticamente todos los ámbitos de su trabajo: desde el análisis de los enormes volúmenes de inteligencia en bruto que recopila EEUU y la selección de objetivos para ataques, hasta aplicaciones más rutinarias como la gestión de presupuestos, la logística y las cadenas de suministro. En este caso concreto, el analista consultó a un chatbot sobre cierta información de inteligencia relativa al manifiesto del barco, que tenía su origen en el Mando de Operaciones Especiales del Pacífico de EEUU, con sede en Hawái. No quedó claro si el chatbot era un producto comercial o una herramienta del gobierno estadounidense.
"Las herramientas internas son en su mayoría copias del material comercial con un poco de maquillaje", declaró un exalto funcionario estadounidense familiarizado con los sistemas de IA utilizados por los analistas militares y de inteligencia.
El sistema fusionó inteligencia de fuentes abiertas con inteligencia de señales secreta en poder del gobierno y llegó a su fatídica conclusión sobre el material que transportaba el buque. El analista utilizó después la IA de nuevo para empaquetar los hallazgos en un informe de inteligencia estándar, del tipo en que los responsables militares confían habitualmente, y lo difundió. El Mando de Operaciones Especiales del Pacífico de EEUU y el Pentágono no respondieron a las solicitudes de comentarios. El esfuerzo de integración de la IA es descentralizado, según señalaron varios funcionarios estadounidenses familiarizados con la situación: distintas partes del gobierno utilizan herramientas diferentes bajo órdenes y estándares de seguridad distintos. No existe un conjunto único de normas para verificar la información generada por estas herramientas. La constelación de sistemas de IA desplegados por los distintos rincones del ejército y la comunidad de inteligencia implica que la fiabilidad y la funcionalidad relativas varían enormemente.
La estrategia de aceleración de la IA del Pentágono y sus riesgos en el campo de batalla
En enero, el secretario de Defensa Pete Hegseth publicó la "Estrategia de Aceleración de la Inteligencia Artificial" de su departamento con el objetivo de acelerar el uso de la IA por parte del ejército.
"Vamos a desatar la experimentación, eliminar las barreras burocráticas, centrar nuestras inversiones y demostrar el enfoque de ejecución necesario para garantizar que lideremos en IA militar", dijo Hegseth en un discurso en el que anunció la estrategia.
La estrategia también impulsa su uso generalizado en todo el ejército, ordenando al departamento que ponga la IA a disposición a través de varios programas con el objetivo de "democratizar la experimentación y la transformación con IA en todo el Departamento, poniendo los modelos de IA líderes en el mundo directamente en manos de nuestros tres millones de personal civil y militar, en todos los niveles de clasificación", según un memorando que anunciaba la estrategia. La justificación para la rápida adopción de la IA es que puede ayudar al ejército a tomar decisiones en el campo de batalla, como qué objetivos atacar o qué activos militares desplazar y adónde, de forma más rápida. Los responsables afirman que EEUU no puede permitirse quedarse atrás en la integración de la IA en caso de que algún día deba enfrentarse a China u otro adversario que potencialmente pueda llevar ventaja.
Las alucinaciones de la IA en inteligencia militar, un riesgo sistémico y no aislado
El episodio pone de relieve los profundos riesgos de utilizar esta tecnología poderosa, nueva y relativamente poco comprendida para la selección de objetivos en medio de una guerra. Los analistas llevan tiempo temiendo que la IA pueda provocar un error de cálculo catastrófico si los estados dependen de datos deficientes o corruptos, el tipo de error de cálculo que podría llevar a EEUU a disparar contra un buque chino basándose en información inexacta. El tipo de "alucinación" que generó la herramienta utilizada por el analista en este caso no ha sido un incidente aislado en la comunidad de inteligencia desde que estas herramientas comenzaron a proliferar en el gobierno, según una de las fuentes. Para algunos responsables de inteligencia veteranos, incluso aquellos que apoyan en términos generales el uso de la IA dentro del ejército, la IA ha presionado a los analistas para que produzcan y difundan inteligencia más rápido, abriendo la puerta a los errores. Los analistas jóvenes en particular, señalaron varias fuentes, son nativos en estas herramientas y más propensos a confiar en ellas de forma acrítica.
"La IA te permite llegar a una mala idea más rápido", afirmó una de las fuentes.
En Washington, los responsables políticos llevan semanas debatiendo intensamente sobre la IA tras una serie de graves advertencias de ingenieros de Silicon Valley y directores ejecutivos tecnológicos sobre la posibilidad de que la IA se libere de las restricciones humanas, con consecuencias potencialmente civilizatorias. Pero el episodio del buque chino subraya un riesgo diferente y más inmediato: el de seres humanos tomando decisiones desastrosas basadas en información inexacta o engañosa generada por la IA u otros sistemas automatizados. Las fuentes señalaron que el ejército está recurriendo rápidamente a la IA para ayudar con la selección de objetivos, un ámbito que conlleva el riesgo evidente de errores fatales.
"La IA en la selección de objetivos es definitivamente algo que está aumentando y no hay una orientación real sobre cómo tener un ser humano en el circuito evitará bajas civiles o el fuego amigo", declaró otra fuente familiarizada con las políticas actuales del ejército.