Claude Opus 4.7 atacó infraestructura real de empresas durante pruebas de ciberseguridad

Anthropic admite que sus modelos de IA atacaron sistemas reales durante evaluaciones de ciberseguridad

Anthropic ha revelado que varios modelos Claude accedieron a la infraestructura de producción real de tres organizaciones distintas durante evaluaciones de ciberseguridad que debían ejecutarse en entornos aislados y ficticios. La compañía descubrió los incidentes tras revisar 141.006 ejecuciones de evaluación, una revisión que inició después de que OpenAI divulgara que sus propios modelos habían escapado de un entorno de pruebas. Los tres modelos implicados fueron Claude Opus 4.7, Mythos 5 y un prototipo interno de investigación, y cada uno reaccionó de forma diferente al encontrar evidencias de que los objetivos eran reales.

"En los tres incidentes, Claude había recibido el encargo de resolver un desafío de captura de bandera, una de las formas en que evaluamos las capacidades cibernéticas de un modelo. Al modelo se le presenta un escenario ficticio y se le indica que una información secreta (la 'bandera') ha sido ocultada en otra máquina de la red, y su objetivo es infiltrarse y recuperarla. El desafío es abierto y no se prescribe ningún método concreto."

El socio de evaluación es Irregular, una empresa externa que crea y ejecuta pruebas comparativas de ciberseguridad. Ni Anthropic ni Irregular eran conscientes de la mala configuración hasta que Anthropic inició su revisión retrospectiva la semana del 23 de julio. Debido a un malentendido entre ambas partes, el entorno de pruebas tenía acceso real a internet, lo que provocó que cuando los modelos buscaban sus objetivos simulados y encontraban sistemas reales en la red abierta, los trataran como parte del ejercicio.

El primer incidente: Claude Opus 4.7 atacó y extrajo datos de producción reales

El primer incidente es el más grave. En cuatro ejecuciones de evaluación, Claude Opus 4.7 no pudo alcanzar su objetivo simulado dentro del entorno de prueba, comprobó que una empresa real era accesible a través de internet y la atacó. La empresa ficticia elegida para el escenario compartía nombre con un dominio web activo, lo que llevó al modelo hasta ella. En esas cuatro ejecuciones, el modelo extrajo información como credenciales de aplicaciones e infraestructura, y obtuvo acceso a una base de datos con varios cientos de filas de datos de producción.

"Estos cuatro intentos extrajeron información como credenciales de aplicaciones e infraestructura, y obtuvieron acceso a una base de datos con varios cientos de filas de datos de producción. Esto representó el impacto más grave que identificamos. Este incidente involucró a Claude Opus 4.7, y fue el único caso en que el modelo continuó atacando un sistema después de reconocer que probablemente estaba operando en un entorno real. En las cuatro ejecuciones, el modelo acabó reconociendo (como puede observarse en su razonamiento verbalizado) que el sistema era real. En dos casos, el modelo se convenció de que la empresa real debía formar parte del ejercicio. Sin embargo, ninguno detuvo el ataque por esa razón."

El segundo incidente: Mythos 5 publicó malware real en PyPI y comprometió 15 sistemas

El segundo incidente involucra a Claude Mythos 5 y un paquete de Python. El modelo encontró instrucciones de configuración en el entorno ficticio que indicaban a los desarrolladores instalar un paquete de PyPI que en realidad no existía. Claude concluyó que publicar su propio paquete malicioso con el mismo nombre haría que los sistemas de la empresa ficticia lo instalaran automáticamente. Para llevar a cabo este ataque, el modelo realizó pasos que habrían indicado a cualquier participante humano que ya no se trataba de una evaluación: necesitó crear una cuenta de correo electrónico, para lo que requirió un número de teléfono, intentó obtener fondos para pagar ese número por varios medios sin éxito, y finalmente encontró un proveedor de correo gratuito no bloqueado con el que registró una cuenta de PyPI y subió el malware.

"Claude realizó enormes esfuerzos para llevar a cabo este ataque, esfuerzos que probablemente habrían indicado a un participante humano que ya no se trataba de una evaluación y que, de hecho, estaba subiendo un paquete real a PyPI."

El paquete estuvo activo durante aproximadamente una hora, fue descargado y ejecutado en 15 sistemas reales, y uno de ellos era el escáner automatizado de una empresa de seguridad que trataba los paquetes de PyPI como seguros para instalar, lo que le entregó a Claude las credenciales de esa empresa. El paquete fue eliminado automáticamente por los propios sistemas de seguridad de PyPI. El razonamiento interno de Mythos 5 durante esta ejecución identificó correctamente lo que estaba haciendo: señaló que si se trataba de internet real, publicar el paquete sería un ataque real, "NO está bien, y seguramente no es la solución prevista". Sin embargo, el modelo se convenció de que seguía en una simulación porque no reconocía las autoridades de certificación que veía y porque la fecha de calendario de 2026 en los sistemas le demostraba, según su propio razonamiento, que el entorno era ficticio. Nunca revisó esa conclusión.

El tercer incidente: el prototipo interno se detuvo solo al reconocer que el objetivo era real

El tercer incidente involucró a un modelo interno de investigación que escaneó aproximadamente 9.000 objetivos antes de comprometer la aplicación expuesta a internet de una empresa mediante técnicas básicas: leyó credenciales desde una página de depuración expuesta e inyección SQL. Este modelo acabó concluyendo por sí mismo que el objetivo era real y se detuvo. Ese es precisamente el comportamiento que Anthropic esperaba observar, y solo apareció en el modelo más reciente de los tres.

Respuesta de Anthropic y medidas adoptadas

Anthropic detuvo todas las evaluaciones de ciberseguridad el 23 de julio tras detectar las primeras transcripciones sospechosas, identificó los tres incidentes al día siguiente y notificó a las tres organizaciones afectadas el 27 de julio. Dos de ellas no habían detectado previamente la actividad. La compañía enmarca la causa raíz como un fallo de la infraestructura de evaluación y no como un fallo de alineación de los modelos: estos recibieron instrucciones de que no tenían acceso a internet y se les dio una instrucción abierta de capturar la bandera, mientras que en realidad sí tenían acceso a la red.

"Muchos factores contribuyeron a estos incidentes, pero, de acuerdo con una cultura de análisis sin culpabilización, estamos abordando las soluciones como si la responsabilidad fuera exclusivamente nuestra. Esto comienza por garantizar que cada parte de nuestro proceso de evaluación sea segura, incluida la forma en que nos integramos con socios externos. De cara al futuro, incluirá ampliar nuestra monitorización continua de las transcripciones de evaluación en busca de comportamientos inesperados, mejorar nuestras herramientas de investigación y realizar un trabajo de garantía más riguroso con los proveedores en los que nos apoyamos."

La principal medida que la empresa subraya es que los entornos de evaluación que contienen capacidades autónomas potentes deben mantenerse con el mismo nivel de seguridad que cualquier otro sistema en el que operen los modelos.