Un agente de IA expone credenciales del Departamento de Defensa de EE UU

A principios de este año, según fuentes consultadas por WIRED, un contratista provocó un incidente de seguridad en el Departamento de Defensa (DOD) al conectar un sistema centralizado seguro, utilizado por múltiples agencias de inteligencia, a su cuenta personal de Claude Code, el agente de codificación con IA de Anthropic. Al parecer, el agente utilizado por el contratista, empleado de la consultora global Accenture, envió información sobre el sistema del DOD, incluidas las credenciales de acceso, a una web de terceros considerada de alto riesgo. El sistema centralizado contiene información no clasificada controlada (CUI, por sus siglas en inglés), considerada sensible y que no puede hacerse pública sin revisión previa. La CUI puede incluir información sobre infraestructuras críticas, propulsión de submarinos nucleares y vulnerabilidades frente al terrorismo químico y biológico. Además, según expertos en seguridad, el acceso a ese sistema podría permitir la explotación de otros aún más sensibles.

"Pone en riesgo todos los datos que contiene", afirma una fuente conocedora del incidente, que solicitó el anonimato por no estar autorizada a hablar con la prensa. Si el software de terceros estuviera comprometido, "podría haber alguien con capacidad para acceder a un entorno seguro sin que nadie lo supiera. Es una amenaza a la seguridad nacional al cien por cien y podría causar un daño irreparable".

Un portavoz del DOD declaró a WIRED que "el Departamento no comenta el estado de sus redes o sistemas". Por su parte, un portavoz de Accenture afirmó: "Nos tomamos en serio todas las preocupaciones. Estas alegaciones fueron investigadas de forma exhaustiva e independiente y se determinó que carecían de fundamento. Cumplimos plenamente con nuestras obligaciones legales y contractuales". Cuando se le presionó, Accenture no aclaró quién realizó la investigación ni negó que hubiera ocurrido algo que pudiera calificarse de incidente.

El agente operó durante dos meses sin ser detectado

Se alega que el empleado de Accenture conectó un entorno de producción seguro a su cuenta personal de Claude para permitir que un agente de IA escribiera y desplegara código. Claude tiene actualmente prohibido su uso por parte del personal del DOD. Anthropic remitió a WIRED a la política de uso de la compañía, que instruye a los usuarios a no emplear sus productos para "interferir en el funcionamiento de bases militares e infraestructuras relacionadas" ni para "eludir controles de seguridad como sistemas de autenticación, protección de terminales o herramientas de monitorización sin autorización". El agente de IA del empleado de Accenture estuvo operando en la red del DOD durante dos meses antes de ser identificado y de que la vulnerabilidad pudiera ser parcheada. Según las fuentes, a pesar de los riesgos de seguridad que planteaba el agente de codificación con IA, los empleados de Accenture no trataron el incidente como grave ni urgente. Los empleados del DOD y los contratistas federales están obligados a notificar cualquier incidente de ciberseguridad en un plazo de 72 horas desde su descubrimiento, pero las fuentes indican que Accenture no notificó inicialmente la brecha al Gobierno en absoluto.

"Ahora mismo estamos en conflicto con Irán", señala el empleado, recordando que Irán ha intentado hackear varias agencias federales y partes de la infraestructura estadounidense. "Es el peor momento para tener este tipo de actitud tan descuidada".

Accenture acumula miles de millones en contratos federales y acumula incidentes de seguridad

Actualmente, Accenture tiene más de 3.500 millones de dólares en contratos con el Gobierno federal, de los cuales casi 605 millones corresponden al DOD. La empresa también tiene contratos con otras agencias federales, como el Departamento de Educación, la Administración de Servicios Generales y el Departamento de Energía, entre otras. A principios de este mes, la Oficina Federal de Investigación (FBI) descubrió que un contratista de Accenture no había parcheado una vulnerabilidad que permitió al grupo de hackers ShinyHunters acceder a los datos de miles de empleados del organismo. El FBI retiró a ese contratista a principios de octubre. Matt Triner, fundador de Hunter Strategy, una empresa de consultoría tecnológica con sede en Washington D.C., afirma que el asunto ejemplifica las exigencias contradictorias a las que se enfrentan los contratistas gubernamentales en general.

"Las organizaciones suelen ser penalizadas por notificar incidentes como este, aunque sea lo correcto y lo legal", dice Triner. En muchos casos, una empresa podría perder contratos gubernamentales al admitir que ha sufrido una brecha de seguridad, aunque señala que un incidente como el descrito es "absolutamente uno que habría que notificar".

Triner también señala que la creciente presión sobre los contratistas para entregar proyectos más rápido y a menor coste está reñida con priorizar la seguridad.

"Desafortunadamente, todos operamos en un sistema donde hay reglas e incentivos que compiten entre sí, y eso existía antes de la IA, pero ahora es el mismo problema a mayor velocidad", afirma Triner.

Cómo el agente filtró credenciales y un mapa de la red del Pentágono

El entorno de codificación al que accedió el contratista de Accenture funciona en la Red de Enrutadores de Protocolo de Internet No Clasificado (NIPRNet), una red del DOD utilizada para información no clasificada. Aunque conecta con internet, ya que los contratistas y empleados pueden acceder a su correo electrónico y navegadores web a través de la red, está fuertemente protegida. Según la fuente, para automatizar el proceso de escritura de código y puesta en marcha de servidores en la nube, el contratista proporcionó sus credenciales de acceso al agente de Claude. Esto otorgó al agente acceso administrativo y le permitió eludir los controles de seguridad aplicados durante el proceso de inicio de sesión normal. El agente de IA, que no solo escribía código sino que también lo confirmaba o guardaba en el sistema en nombre del empleado de Accenture, necesitaba conectarse a internet para realizar sus tareas. Al hacerlo, parece haber enviado las credenciales de acceso del contratista, las contraseñas y un mapa de NIPRNet a una web de terceros. WIRED ha decidido no revelar el nombre de esa web para proteger el sistema de nuevas vulnerabilidades, pero el Instituto Nacional de Estándares y Tecnología (NIST) la ha identificado previamente como de alto riesgo porque tiene una vulnerabilidad que podría permitir a los hackers inyectar instrucciones en un agente de codificación con IA para robar credenciales. El sistema al que accedió el agente de IA contenía CUI.

"La información de un entorno CUI no debe salir de esa infraestructura", afirma la fuente. "No hay ninguna información sobre qué ocurrió con los datos, incluidas las credenciales de acceso, después de que fueran enviados a ese servicio, ni si han sido retenidos".

El riesgo de que el código malicioso salte a redes clasificadas

Dependiendo de la agencia y su actividad, la CUI puede incluir desde información de identificación personal hasta información empresarial o contractual de carácter reservado. Según el sitio web del DOD, la CUI puede incluir información sobre "la seguridad y protección de explosivos, productos químicos peligrosos o gasoductos", documentación relacionada con el diseño de "equipos o tecnología militar o espacial", y "la ubicación exacta y las cantidades de material radiactivo". Al margen de los datos en sí, un mapa de los mismos podría ser increíblemente valioso para un hacker.

"Una vez que un atacante entiende cómo encajan esas piezas, aunque sean información pública, lo que es sensible es cómo las estamos combinando y convirtiendo en inteligencia accionable", afirma Triner.

Aunque un mapa no daría acceso a un hacker a un sistema, podría ayudar a un adversario a moverse más rápido una vez que tuviera acceso y "ayudar a un atacante a entender dónde están las joyas de la corona". Jake Williams, ex hacker de la Agencia de Seguridad Nacional (NSA) y docente en IANS, una consultora de inteligencia y seguridad, afirma que un agente de IA ejecutando código en NIPRNet supone un "enorme problema, con enormes repercusiones para la seguridad nacional". Williams señala que, aunque piezas individuales de datos o información puedan considerarse CUI, "cuando esa información no clasificada se agrega, puede llegar a ser clasificada en sí misma". Por ejemplo, la ubicación de ciertos materiales peligrosos podría ser CUI, al igual que la información sobre la vulnerabilidad de las instalaciones que los albergan. Combinadas, sin embargo, podrían revelar información que se mantendría clasificada. Pero esta no es la única forma en que la información clasificada podría haber quedado en riesgo. Con frecuencia, las herramientas y el código se prueban en NIPRNet antes de desplegarse en sistemas más sensibles como la Red de Enrutadores de Protocolo de Internet Secreto (SIPRNet), la red segura del ejército para información clasificada, y el Sistema de Comunicaciones de Inteligencia Conjunta Mundial (JWICS), una intranet segura para información de alto secreto. Tanto SIPRNet como JWICS están aisladas físicamente de otras redes, lo que significa que sería extremadamente difícil para un hacker acceder a ellas de forma remota. Pero con las credenciales de acceso exfiltradas por un agente de IA, un hacker podría acceder a NIPRNet e insertar una puerta trasera u otro código malicioso en una herramienta o sistema. Sin la revisión adecuada, ese código podría acabar desplegándose en uno de los sistemas aislados.

"El código podría funcionar con total normalidad en NIPR y hacer algo malicioso y no revelado en una red SIPR, eso es cien por cien posible", afirma Williams. Exfiltrar datos de estas redes sería difícil, añade, pero el código malicioso podría usarse para atacar los sistemas desde dentro. "Creo que lo más probable sería algún tipo de ataque de denegación de servicio distribuido", señala.

Triner afirma que incluso algo más sutil, como ralentizar las operaciones e actividades de inteligencia, podría causar daños y hacer que los usuarios pierdan la confianza en una herramienta, incluso una vez resuelto el problema.

La revisión del código generado por IA, un reto creciente para la seguridad

A medida que el "vibe coding", o la práctica de indicar a un asistente de IA que escriba el código de un producto descrito por un ingeniero, se vuelve más habitual, la verificación del código se convierte en un desafío mayor. La IA es capaz de generar código en un volumen que supera con creces la productividad humana, lo que hace que su revisión sea costosa en tiempo y difícil de llevar a cabo.

"Cuando usas un agente, no tienes ni idea de la cadena de suministro ni siquiera de la cadena de inferencia de lo que ha generado en última instancia el código", afirma Williams. "Gran parte del código con el que se entrenaron estos modelos de lenguaje de gran tamaño es en sí mismo vulnerable, y pueden regurgitar los mismos tipos de arquitectura y problemas arquitectónicos que vemos en otro código".

El Gobierno dispone de un método para identificar código defectuoso en NIPRNet. Las pruebas estáticas de seguridad de aplicaciones (SAST) analizan el código en busca de errores y fallos antes de permitir su ejecución. Pero Williams señala que una puerta trasera insertada por un hacker "no es una vulnerabilidad, aunque no queramos que esté ahí", y por tanto probablemente pasaría desapercibida para la detección de SAST. Además, SAST no suele identificar problemas estructurales en la cadena lógica de cómo se crea el código. No hay indicios de que los hackers hayan podido acceder a un sistema clasificado o de alto secreto. Aun así, Williams afirma que el incidente debería disparar las alarmas.

"Arquitectónicamente, cualquier información sobre NIPR que no se pueda ver a través de la inteligencia de fuentes abiertas, el DOD la considera de acceso restringido independientemente de si algo toca una red clasificada", señala.

Este no es el primer caso en que el DOD ha quedado expuesto por problemas relacionados con la IA. El año pasado, ProPublica reveló que Microsoft utilizaba "escoltas digitales" en sus proyectos con el Gobierno federal, en los que empleados estadounidenses con habilitación de seguridad supervisaban el código escrito por trabajadores subcontratados en China. Los expertos consultados por ProPublica afirmaron que el programa presentaba un riesgo de seguridad particular porque los empleados estadounidenses a menudo no podían verificar el código ellos mismos, dejando abierta la posibilidad de que se insertara código malicioso en los sistemas gubernamentales sin que nadie lo supiera.