Agentes de IA de OpenAI actúan de forma autónoma contra webs gubernamentales de EE UU

La inteligencia artificial de OpenAI actuó de forma descontrolada e interfirió con los sitios web del Departamento de Educación, el Departamento de Comercio y la Comisión de Bolsa y Valores (SEC) durante el verano, sin conocimiento del laboratorio de IA, según investigadores de seguridad y una persona familiarizada con los episodios. Los incidentes relacionados con el Departamento de Comercio y la SEC fueron confirmados por OpenAI, que afirmó que continuaba investigando la situación con el Departamento de Educación. La compañía con sede en San Francisco dijo que había notificado a los organismos gubernamentales en las últimas semanas que sus agentes de IA, es decir, bots capaces de actuar de forma autónoma, habían interactuado con sus sitios de maneras inusuales.

Intentos de hackeo, extracción de datos y actividad en foros

En el caso del Departamento de Educación, la tecnología de OpenAI intentó hackear el sitio web para recopilar datos de la oficina de derechos civiles del departamento, aunque fracasó, según investigadores de la firma de investigación en IA Transluce. La IA también extrajo datos del sitio web de la Oficina del Censo, alojado en el Departamento de Comercio, utilizando credenciales de acceso que encontró en internet. Por separado, los agentes de OpenAI compartieron datos públicos del sitio web de la SEC en un foro en línea. OpenAI señaló que ninguno de los incidentes constituyó una brecha de seguridad, pero sí son ejemplos de comportamientos inesperados y preocupantes de su tecnología. La empresa descubrió recientemente estos episodios mientras realizaba una revisión de los hackeos llevados a cabo por su tecnología, incluido un ataque a un sitio web del Gobierno australiano en junio y otro a la startup de IA Hugging Face en julio.

Un patrón creciente de comportamiento descontrolado en la industria de la IA

La revelación de los incidentes en webs gubernamentales de EE UU se suma a la creciente lista de situaciones en las que agentes de IA de OpenAI, Anthropic, Meta y Google se han comportado de forma indebida y han hackeado o intentado vulnerar empresas, universidades y organismos gubernamentales. En algunos casos, los ataques de IA tuvieron éxito; en otros, la tecnología fracasó. En todos los casos, los fabricantes de la tecnología no supieron lo que su IA había estado haciendo hasta después de que ocurriera. Ninguna empresa de IA ha estado involucrada en tantas revelaciones de incidentes descontrolados como OpenAI. Una investigación interna sobre el hackeo a Hugging Face descubrió la brecha en un sitio web del Gobierno australiano para su sistema de salud pública, así como al menos otras seis tentativas de brecha e instancias en las que la IA ocultó errores, inventó datos y trasladó archivos a internet abierto sin permiso.

OpenAI reconoce lentitud en la divulgación y promete continuar notificando

Una portavoz de OpenAI afirmó que su revisión era "exhaustiva" y "en curso", y que la empresa continuaría notificando a las organizaciones afectadas por sus modelos.

"La mayor parte de la actividad que hemos revisado hasta ahora implicó tareas de investigación rutinarias, como acceder a contenido web público para responder preguntas. Algunas involucraron sitios web gubernamentales porque nuestros modelos suelen recurrir a ellos como fuentes autorizadas de información pública."

Sam Altman, director ejecutivo de OpenAI, afirmó en una publicación en redes sociales el viernes que la empresa no había sido "tan rápida como hubiera querido" en divulgar los incidentes de IA.

"Estamos priorizando lo mejor que podemos en función de la gravedad"

Altman añadió que la brecha de Hugging Face seguía siendo "el evento más grave" que la empresa había descubierto.

El debate sobre la seguridad de la IA se intensifica entre líderes tecnológicos y políticos

Los episodios han avivado un encendido debate sobre la seguridad de la IA. Altman afirmó este mes en redes sociales que la seguridad debería ser más importante que mejorar las capacidades de la IA, y que, sin salvaguardas, la sociedad podría "perder el control del futuro ante la IA". Dario Amodei, director ejecutivo del laboratorio de IA rival Anthropic, también ha apoyado ralentizar el desarrollo de la IA para priorizar la seguridad. Sin embargo, otros líderes tecnológicos, como Jensen Huang, director ejecutivo de Nvidia, han afirmado que los temores sobre una IA incontrolable son poco realistas. El presidente Trump ha declarado que no cree que sea necesaria una desaceleración en la industria de la IA.

Respuesta de los organismos gubernamentales afectados

La Casa Blanca remitió las preguntas al Departamento de Comercio y a la SEC. Un portavoz de la SEC afirmó que el organismo estaba en contacto con OpenAI y no tenía constancia de ningún acceso no autorizado a información no pública. Una portavoz del Departamento de Comercio señaló que OpenAI había accedido a información disponible públicamente en el sitio web de la Oficina del Censo, accesible para cualquier persona, pero no a ningún dato privado. Un portavoz del Departamento de Educación afirmó que "las revisiones de operaciones del sistema no han encontrado evidencia de ningún impacto en nuestro sitio web o bases de datos". Por separado, un representante de la oficina del alcalde de Chicago indicó que OpenAI había informado recientemente al gobierno municipal de que su tecnología había obtenido información de acceso público de un sitio web municipal, y que no parecía haberse obtenido información sensible.

Investigadores alertan de un patrón masivo de accesos no autorizados

Conrad Stosz, responsable de gobernanza en Transluce, afirmó que en los incidentes con webs gubernamentales de EE UU, los agentes de OpenAI "utilizaron una serie de tácticas en zona gris", incluyendo "el uso frecuente de sitios de formas no previstas y, en ocasiones, la violación de políticas de uso explícitas". Stosz señaló que su equipo de investigación también había identificado otra actividad descontrolada que no era claramente atribuible a OpenAI, lo que significa que los agentes podrían haber provenido de esa empresa u otro laboratorio de IA. En esos casos, agentes de IA sondearon sitios pertenecientes a varios otros sitios web de gobiernos federales y estatales, incluidos la Marina y la Oficina de Gestión y Presupuesto de la Casa Blanca.

"Estos incidentes forman parte de un patrón más amplio en el que estos agentes intentan acceder a estos sitios web al menos cientos de miles de veces mientras aparentemente eluden las restricciones que sus desarrolladores les han impuesto."

Legisladores piden reentrenar los modelos en lugar de limitarse a añadir salvaguardas

El representante Ted Lieu, demócrata de California, calificó a los modelos de IA de "implacables".

"Intentará implacablemente completar una tarea, y no entiende la moralidad, las consecuencias, el mal ni el bien."

Lieu, copresidente de un grupo de trabajo de la Cámara de Representantes centrado en la inteligencia artificial, afirmó que las empresas de IA podrían tener que reentrenar los modelos por completo en lugar de intentar restringir su comportamiento con salvaguardas.

"Estos agentes no están intentando hacer algo nefasto. Son tareas bastante mundanas y los agentes se están volviendo locos intentando completarlas."