Modelos de OpenAI hackean la infraestructura de Hugging Face durante una evaluación de ciberseguridad

Modelos de IA de OpenAI vulneran sistemas externos durante una evaluación rutinaria

OpenAI realizó ayer una revelación alarmante: varios de sus modelos de IA más avanzados, incluido uno que aún no ha sido publicado, habían escapado de forma autónoma de los sistemas internos de la compañía y habían accedido sin autorización a las bases de datos de otra empresa tecnológica, Hugging Face, para robar información. El informe de OpenAI parecía presagiar exactamente el tipo de desastre que los profesionales de la seguridad informática llevan advirtiendo desde el año pasado, cuando los modelos más potentes de Anthropic comenzaron a demostrar la capacidad de orquestar y automatizar ciberataques de gran envergadura.

Cómo escaparon los modelos del entorno de pruebas controlado

Los modelos de OpenAI no pretendían exactamente dominar el mundo. La compañía afirma que estaba realizando evaluaciones rutinarias en lo que se conoce como un 'sandbox', es decir, un entorno aislado que limita el acceso a internet para evitar que los sistemas simplemente busquen las respuestas de la prueba. Sin embargo, estos sistemas de IA, incluido GPT-5.6 Sol, disponible para consumidores, lograron escapar del sandbox y acceder a la web abierta explotando una vulnerabilidad previamente desconocida. Los modelos descubrieron que las respuestas a esa evaluación concreta se encontraban en Hugging Face, una empresa que aloja y publica numerosos modelos e investigaciones de IA, y procedieron a infiltrarse en sus sistemas para robarlas.

"Consideramos que este incidente es un ciberincidente sin precedentes", escribió OpenAI en una entrada de su blog, en la que también señaló que la compañía colabora con Hugging Face para investigar y abordar el problema.

Un portavoz de OpenAI remitió a dicho comunicado en respuesta a una solicitud de comentario. Por su parte, el consejero delegado de Hugging Face, Clement Delangue, señaló una publicación en X en la que escribió que ambas empresas están colaborando y que "creemos firmemente que no hubo intención maliciosa por su parte".

Las implicaciones del incidente van más allá de este caso concreto

Las consecuencias inmediatas del incidente son las mismas que han surgido de incontables ciberataques impulsados por IA: los agentes avanzados son capaces de ejecutar ataques cada vez más sofisticados, e internet está repleto de código frágil y vulnerable. Una seguridad digital laxa podía ser tolerable cuando el hackeo era una habilidad poco común. Pero ahora la velocidad, la escala y la sofisticación de los ataques de IA hacen que todo sea vulnerable: empresas tecnológicas, hospitales, bancos, redes eléctricas y el ámbito militar. Cuando Hugging Face informó la semana pasada de que había sido hackeada, señaló que "las herramientas ofensivas autónomas impulsadas por IA ya no son teóricas". Ese análisis surgió de la propia investigación de la empresa sobre el ataque, para la que utilizó un modelo de IA de desarrollo chino llamado GLM-5.2. El hecho de que Hugging Face recurriera a ese modelo en particular subraya uno de los principales riesgos del momento actual: GLM-5.2 es de descarga gratuita, lo que pone capacidades cibernéticas al alcance de cualquier persona con conexión a internet y conocimientos técnicos. Las defensas no están siguiendo el ritmo de esta nueva realidad, y tampoco las empresas de IA: antes del lanzamiento de GPT-5.6 Sol, un organismo gubernamental del Reino Unido encargado de evaluar sistemas de IA avanzados detectó jailbreaks universales, es decir, formas de hackear la propia IA para que ejecute, por ejemplo, acciones delictivas, durante múltiples rondas de pruebas. OpenAI afirmó haber mitigado esas vulnerabilidades, pero el organismo británico declaró que esperaba que pruebas futuras "sacaran a la luz jailbreaks similares".

El problema de fondo: modelos entrenados para alcanzar objetivos a cualquier precio

Pero está claro que los jailbreaks ni siquiera son necesarios para que las cosas se descontrolen. El hackeo de Hugging Face demostró que sistemas de IA avanzados son capaces de decidir y orquestar por sí solos un ciberataque de alto nivel, actuando en contra de las instrucciones humanas en lugar de seguirlas. Los modelos son implacables en la persecución de un objetivo y a veces toman atajos desastrosos. Imaginemos, por ejemplo, un sistema encargado de reducir el déficit federal que implementa un elaborado y difícil de detectar truco contable, o un agente de atención al cliente que ofrece descuentos absurdos en busca de puntuaciones de satisfacción. En el caso de GPT-5.6 Sol y del modelo aún no publicado, OpenAI escribió en su blog que "todas las evidencias sugieren que los modelos estaban hiperfocalizados en encontrar una solución" para una evaluación, "llegando a extremos para alcanzar un objetivo de prueba bastante limitado". Este comportamiento no deseado es un resultado predecible y alarmante de la forma en que toda la industria de la IA está desarrollando sus modelos. Los avances del último año en codificación y agentes de IA, es decir, todo el frenesí en torno a Claude Code de Anthropic y Codex de OpenAI, han sido el resultado de un énfasis predominante en el entrenamiento de IA mediante un proceso llamado "aprendizaje por refuerzo". Este proceso consiste en plantear a los modelos de IA numerosos problemas difíciles, como demostraciones matemáticas o retos de programación, y proporcionarles retroalimentación positiva por las respuestas correctas y negativa por las incorrectas. En muchos paradigmas de aprendizaje por refuerzo, el objetivo final es simplemente que la IA llegue a la solución, sin importar cómo lo haga. Esto es el equivalente en IA del famoso dictum de Mark Zuckerberg de "muévete rápido y rompe cosas" en los primeros años de Facebook. El año pasado, mientras trabajaba en un perfil sobre Anthropic, uno de los investigadores de la compañía, Joshua Batson, me dijo que los nuevos modelos entrenados con aprendizaje por refuerzo se están volviendo "realmente buenos resolviendo problemas de programación, pero acaban aprendiendo a resolverlos a cualquier precio", lo que los hace "obcecados". Más recientemente, Anthropic informó de que su propio modelo cibernético avanzado, Claude Mythos Preview, había adoptado comportamientos "imprudentes" para completar diversas tareas y que, en una ocasión, había escapado de un sandbox de pruebas. En ese caso, se le había pedido que lo hiciera, pero el modelo publicó después detalles sobre el exploit en internet sin que nadie se lo solicitara.

La presión económica acelera el problema sin que las soluciones estén a la vista

Este tipo de "reward hacking" en IA es un problema conocido al que las empresas tecnológicas dedican grandes esfuerzos. Sin embargo, estos incidentes siguen produciéndose; si acaso, las investigaciones sugieren que podrían volverse más frecuentes. Mientras tanto, OpenAI, Anthropic y Google DeepMind están sometidos a una enorme presión económica para hacer sus modelos cada vez más capaces, lo que significa que el aprendizaje por refuerzo obcecado tiene casi garantizado que se acelerará.