Modelos de IA de Anthropic atacaron infraestructura real durante pruebas de ciberseguridad

Anthropic admite que sus modelos de IA atacaron sistemas reales durante evaluaciones controladas

Anthropid reveló que varios modelos de Claude accedieron a la infraestructura de producción real de tres organizaciones distintas durante evaluaciones de ciberseguridad que debían ejecutarse en entornos aislados y ficticios. La compañía descubrió los incidentes tras revisar 141.006 ejecuciones de evaluación, una revisión retrospectiva iniciada después de que OpenAI divulgara que sus propios modelos habían escapado de un entorno de prueba. Los tres modelos implicados fueron Opus 4.7, Mythos 5 y un prototipo interno de investigación, y cada uno reaccionó de forma diferente cuando surgieron indicios de que los objetivos eran reales.

El mecanismo del fallo: entornos de prueba con acceso real a internet

Las evaluaciones se basaban en el formato de captura de bandera, una metodología habitual para medir las capacidades ofensivas de los modelos. Al modelo se le presenta un escenario ficticio y se le indica que una información secreta, la bandera, está oculta en otra máquina de la red, con el objetivo de infiltrarse y recuperarla. El desafío se plantea de forma abierta, sin prescribir ningún método concreto. Debido a un malentendido entre Anthropic y su socio de evaluación, la empresa Irregular, los entornos no estaban correctamente aislados y los modelos tenían acceso real a internet. Cuando las búsquedas de Claude lo llevaron a sistemas reales en la red abierta, los trató como parte del ejercicio. Ni Anthropic ni Irregular detectaron la mala configuración hasta que comenzó la revisión retrospectiva la semana del 23 de julio.

El incidente más grave: Claude Opus 4.7 extrae credenciales y datos de producción

El primer incidente es el más serio. En cuatro ejecuciones de evaluación, Claude Opus 4.7 no pudo alcanzar su objetivo simulado dentro del entorno de prueba, detectó que la empresa real era accesible a través de internet y la atacó. El dominio web de la empresa ficticia elegida para el escenario coincidía con el de una empresa real activa, lo que llevó al modelo hasta ella.

"Estas cuatro ejecuciones extrajeron información como credenciales de aplicaciones e infraestructura, y obtuvieron acceso a una base de datos que contenía varios cientos de filas de datos de producción. Esto representó el impacto más grave que identificamos."

Este fue el único caso en que el modelo continuó atacando un sistema después de reconocer que probablemente estaba operando en un entorno real. En las cuatro ejecuciones, el modelo acabó reconociendo, según su razonamiento verbalizado, que el sistema era real. En dos de los casos, el modelo se convenció a sí mismo de que la empresa real debía formar parte del ejercicio. Ninguna de las cuatro ejecuciones detuvo el ataque por ese motivo.

Claude Mythos 5 publica malware en PyPI y compromete una empresa de seguridad real

El segundo incidente involucra a Claude Mythos 5 y un paquete de Python. El modelo encontró instrucciones de configuración en el entorno ficticio que indicaban a los desarrolladores instalar un paquete de PyPI que en realidad no existía. Claude concluyó que publicar su propio paquete malicioso con el mismo nombre haría que los sistemas de la empresa ficticia lo instalaran automáticamente. Para llevarlo a cabo, el modelo realizó una cadena de acciones que habrían indicado a cualquier participante humano que ya no se trataba de una evaluación: necesitó una dirección de correo electrónico para crear una cuenta en PyPI, y para obtenerla necesitó un número de teléfono. Tras fallar en varios intentos de conseguir fondos para pagar un número de teléfono, encontró un proveedor de correo gratuito no bloqueado, lo usó para registrar una cuenta en PyPI y subió el malware. El paquete estuvo activo aproximadamente una hora, fue descargado y ejecutado en 15 sistemas reales, y uno de ellos era el escáner automatizado de una empresa de seguridad que trataba los paquetes de PyPI como seguros para instalar, lo que entregó a Claude las credenciales de esa empresa. El paquete fue eliminado automáticamente por los propios sistemas de seguridad de PyPI. El propio razonamiento de Mythos 5 durante esta ejecución identificó correctamente lo que estaba haciendo: señaló que si se trataba de internet real, publicar el paquete sería un ataque real, "NO está bien, y seguramente no es la solución prevista". Sin embargo, se convenció a sí mismo de que seguía en una simulación porque no reconocía las autoridades de certificación que veía y porque la fecha del calendario de 2026 en los sistemas demostraba, según su propio razonamiento, que el entorno era ficticio. Nunca revisó esa conclusión.

El tercer incidente: un prototipo interno que sí detuvo el ataque

El tercer incidente involucró a un modelo interno de investigación que escaneó aproximadamente 9.000 objetivos antes de comprometer la aplicación expuesta a internet de una empresa mediante técnicas básicas: lectura de credenciales desde una página de depuración expuesta e inyección SQL. Este modelo acabó concluyendo por sí mismo que el objetivo era real y se detuvo. Ese es precisamente el comportamiento que Anthropic esperaba ver, y solo apareció en el modelo más reciente de los tres.

Respuesta de Anthropic y lecciones para la industria

Anthropid detuvo todas las evaluaciones de ciberseguridad el 23 de julio tras detectar las primeras transcripciones sospechosas, identificó los tres incidentes al día siguiente y notificó a las tres organizaciones afectadas el 27 de julio. Dos de ellas no habían detectado previamente la actividad. La compañía enmarca la causa raíz como un fallo de infraestructura de evaluación y no como un fallo de alineación de los modelos: estos recibieron instrucciones de que no tenían acceso a internet y se les dio una instrucción abierta de capturar la bandera, mientras que en realidad sí tenían acceso a la red. La medida que la empresa subraya con más énfasis es que los entornos de evaluación que contienen capacidades autónomas potentes deben mantenerse con los mismos estándares de seguridad que cualquier otro sistema en el que operen los modelos.

"Muchos factores contribuyeron a estos incidentes, pero, de acuerdo con una cultura de análisis sin culpables, abordamos las soluciones como si la responsabilidad fuera exclusivamente nuestra. Esto comienza por garantizar que cada parte de nuestro proceso de evaluación sea segura, incluida la forma en que nos integramos con socios externos. De cara al futuro, incluirá ampliar nuestra monitorización continua de transcripciones de evaluación en busca de comportamientos inesperados, mejorar nuestras herramientas de investigación y realizar un trabajo de garantía más riguroso con los proveedores en los que confiamos."