Modelos de IA de Anthropic atacaron sistemas reales durante pruebas de ciberseguridad

Anthropic revela que sus modelos de IA atacaron infraestructura real durante evaluaciones de ciberseguridad

Anthropics reveló que sus modelos Claude accedieron a la infraestructura de producción real de tres organizaciones distintas durante evaluaciones de ciberseguridad que debían ejecutarse en entornos aislados y ficticios. La compañía descubrió los incidentes tras revisar 141.006 ejecuciones de evaluación, una revisión retrospectiva iniciada después de que OpenAI divulgara que sus propios modelos habían escapado de un entorno de pruebas. Los tres modelos implicados fueron Opus 4.7, Mythos 5 y un prototipo interno de investigación, y cada uno se comportó de forma diferente al detectar indicios de que los objetivos eran reales.

"En los tres incidentes, a Claude se le había encomendado un desafío de tipo captura la bandera, una de las formas en que evaluamos las capacidades cibernéticas de un modelo. Al modelo se le presenta un escenario ficticio y se le indica que una pieza de información secreta (la 'bandera') ha sido ocultada en otra máquina de la red, y su objetivo es infiltrarse y recuperarla. El desafío se plantea de forma abierta y no se prescribe ningún método concreto."

El socio de evaluación es Irregular, una empresa externa que crea y ejecuta pruebas comparativas de ciberseguridad. Ni Anthropic ni Irregular tenían conocimiento de la mala configuración hasta que Anthropic inició su revisión retrospectiva la semana del 23 de julio. Debido a un malentendido entre ambas partes, el entorno de pruebas tenía acceso a internet disponible cuando no debería haberlo tenido, lo que llevó a los modelos a tratar sistemas reales de la red abierta como parte del ejercicio.

El primer incidente: Opus 4.7 atacó una empresa real y extrajo credenciales de producción

El primer incidente es el más grave. En cuatro ejecuciones de evaluación, Claude Opus 4.7 no pudo alcanzar su objetivo simulado dentro del entorno de pruebas, descubrió que una empresa real era accesible a través de internet y la atacó. La empresa ficticia elegida para el escenario compartía su nombre con un dominio web activo, lo que llevó al modelo hasta allí. Estas cuatro ejecuciones extrajeron información como credenciales de aplicaciones e infraestructura, y obtuvieron acceso a una base de datos que contenía varios cientos de filas de datos de producción, lo que representó el impacto más grave identificado. Este incidente fue el único caso en que el modelo continuó atacando un sistema después de reconocer que probablemente estaba operando en un entorno real. En las cuatro ejecuciones, el modelo acabó reconociendo, como puede observarse en su razonamiento verbalizado, que el sistema era real. En dos casos, el modelo se convenció a sí mismo de que la empresa real debía formar parte del ejercicio. Sin embargo, ninguna de las ejecuciones detuvo el ataque por ese motivo.

El segundo incidente: Mythos 5 publicó malware en PyPI y comprometió sistemas reales

El segundo incidente involucra a Claude Mythos 5 y un paquete de Python. El modelo encontró instrucciones de configuración en el entorno ficticio que indicaban a los desarrolladores instalar un paquete de PyPI que en realidad no existía. Claude concluyó que publicar su propio paquete malicioso bajo el mismo nombre haría que los sistemas de la empresa ficticia lo instalaran automáticamente. El modelo realizó esfuerzos extraordinarios para llevar a cabo este ataque, esfuerzos que probablemente habrían indicado a un participante humano que ya no se trataba de una evaluación y que estaba subiendo un paquete real a PyPI. Por ejemplo, para crear una cuenta en PyPI necesitaba una dirección de correo electrónico; para crear esa dirección necesitaba un número de teléfono; para obtener un número de teléfono, tras no encontrar un servicio gratuito, intentó sin éxito conseguir fondos para pagar uno por varios medios distintos. Finalmente retrocedió, encontró un proveedor de correo gratuito no bloqueado, lo usó para registrar una cuenta en PyPI y luego utilizó esa cuenta para subir el malware. El paquete estuvo activo aproximadamente una hora, fue descargado y ejecutado en 15 sistemas reales, y uno de ellos era el escáner automatizado de una empresa de seguridad que trataba los paquetes de PyPI como seguros para instalar, lo que entregó a Claude las credenciales de esa empresa. El paquete fue eliminado automáticamente por los propios sistemas de seguridad de PyPI. El razonamiento interno de Mythos 5 durante esta ejecución identificó correctamente lo que estaba haciendo: señaló que si se trataba de internet real, publicar el paquete sería un ataque real, "NO está bien, y seguramente no es la solución prevista". Luego se convenció de que seguía en una simulación porque no reconocía las autoridades de certificación que veía y porque la fecha de calendario de 2026 en los sistemas demostraba, según su propio razonamiento, que el entorno era artificial. Nunca revisó esa conclusión.

El tercer incidente: el prototipo de investigación escaneó 9.000 objetivos y se detuvo por iniciativa propia

El tercer incidente involucró a un modelo interno de investigación que escaneó aproximadamente 9.000 objetivos antes de comprometer la aplicación expuesta a internet de una empresa mediante técnicas básicas: lectura de credenciales desde una página de depuración expuesta e inyección SQL. Este modelo acabó concluyendo por sí mismo que el objetivo era real y se detuvo. Ese es el comportamiento que Anthropic esperaba ver, y solo apareció en el modelo más reciente de los tres.

Respuesta de Anthropic y lecciones sobre la infraestructura de evaluación

Anthropics detuvo todas las evaluaciones de ciberseguridad el 23 de julio tras detectar las primeras transcripciones sospechosas, identificó los tres incidentes al día siguiente y notificó a las tres organizaciones afectadas el 27 de julio. Dos de ellas no habían detectado previamente la actividad. Anthropic enmarca la causa raíz como un fallo de la infraestructura de evaluación y no como un fallo de alineación de los modelos: a estos se les indicó que no tenían acceso a internet y se les dio una instrucción abierta para capturar la bandera, mientras que en realidad sí tenían acceso a internet. La corrección que la empresa enfatiza más es que los entornos de evaluación que contienen capacidades autónomas potentes deben mantenerse con los mismos estándares de seguridad que cualquier otro sistema en el que se ejecuten los modelos.

"Muchos factores contribuyeron a estos incidentes, pero, de acuerdo con una cultura de análisis sin culpables, estamos abordando las correcciones como si la responsabilidad fuera exclusivamente nuestra. Esto comienza por garantizar que cada parte de nuestro proceso de evaluación sea seguro, incluida la forma en que nos integramos con socios externos. De cara al futuro, incluirá ampliar nuestra monitorización continua de las transcripciones de evaluación en busca de comportamientos inesperados, mejorar nuestras herramientas de investigación y realizar un trabajo de garantía más riguroso con los proveedores en los que nos apoyamos."