Una startup de ciberseguridad accede a los sistemas internos de Anthropic mediante agentes de IA

Cathedral, una startup de ciberseguridad fundada hace apenas unos meses por exmiembros del Servicio DOGE de reducción de costes del Gobierno de Estados Unidos, comunicó recientemente a Anthropic, la empresa creadora del chatbot Claude, que sus investigadores habían penetrado datos internos sensibles y sistemas de mensajería de la compañía de inteligencia artificial. Así consta en un borrador del informe de Cathedral revisado por The Washington Post. La startup ofrece herramientas de ciberseguridad basadas en IA al Gobierno estadounidense y a clientes corporativos. Sus investigadores accedieron a los sistemas de Anthropic explotando vulnerabilidades en software empresarial utilizado por la firma de IA y muchas otras compañías para tareas administrativas y de ventas.

Tras ejecutar agentes de IA durante menos de 12 horas, los investigadores encontraron vías de acceso a datos internos de Anthropic que incluían transcripciones de reuniones, detalles de salarios y ofertas de empleo, y mensajes de Slack en los que se debatía sobre sus modelos avanzados de IA. La startup llevó a cabo esta prueba dentro de un programa de la empresa que invita a expertos externos en ciberseguridad a poner a prueba sus sistemas.

Anthropic confirma la brecha y toma medidas correctivas

Anthropicconfirmó en un comunicado que los investigadores de Cathedral habían accedido a "un conjunto limitado" de sus sistemas de ventas, recursos humanos y tecnología de la información. La compañía de IA cerró las vías de acceso descubiertas por los investigadores e informó a funcionarios federales sobre el incidente. Un portavoz de Anthropic señaló que Cathedral pasó varios días intentando penetrar directamente en su software antes de recurrir a las herramientas empresariales de terceros. El comunicado de Anthropic precisó que los investigadores accedieron a sistemas que contenían datos como información de contacto empresarial de algunos clientes y socios, así como registros básicos de cuentas de usuario. Los investigadores no pudieron acceder a los mensajes enviados por los clientes a los modelos de IA de Anthropic, a las respuestas generadas, ni al código o los "pesos del modelo" que sustentan sus sistemas de IA.

"Nuestro sistema de monitorización detectó parte de la actividad de Cathedral antes de que nos la notificaran, y cortamos su acceso el mismo día. Tampoco tenemos evidencia de que nadie haya explotado estas vulnerabilidades fuera de Cathedral."

Anthropicdeshabilitó el software empresarial implicado y solo lo reactivó después de que los proveedores confirmaron que las vulnerabilidades habían sido corregidas.

Preocupaciones de seguridad nacional en el contexto de la carrera global por la IA

La capacidad de Cathedral para penetrar programas sensibles en una de las empresas líderes de la carrera global por la IA llega en un momento de creciente preocupación por el hecho de que las firmas estadounidenses de IA son objetivo de agencias de inteligencia extranjeras, y de alarma ante la posibilidad de que la IA facilite a piratas informáticos malintencionados el acceso a sistemas críticos. Un alto funcionario de la Administración Trump, que habló bajo condición de anonimato para describir procedimientos internos, afirmó que el informe de Cathedral sobre su acceso a los sistemas de Anthropic había circulado dentro del Gobierno y había generado preocupaciones de seguridad nacional.

"Si un grupo de chicos que acaban de fundar una empresa puede hacer esto, entonces potencialmente los chinos no están muy lejos", declaró el funcionario. Añadió que le sorprendió "lo poco que tardaron en acceder a los sistemas sensibles de una empresa que controla material casi equivalente a armas nucleares".

La Administración Trump trabaja actualmente con la empresa para simular escenarios adversariales relacionados con la IA, según el mismo funcionario.

Un patrón de incidentes de seguridad en las grandes empresas de IA estadounidenses

El nuevo informe de Cathedral y otros incidentes de seguridad recientes en empresas estadounidenses de IA ponen de relieve la intensificación de los riesgos en un momento en que el Gobierno de Estados Unidos y sus adversarios compiten por una tecnología considerada central para mantener, o desafiar, el poder global de Estados Unidos. El Buró Federal de Investigación (FBI) arrestó este mes a un empleado de OpenAI, creadora de ChatGPT, por presuntamente instalar un dispositivo de grabación en una sala de conferencias ejecutiva. El mes pasado, piratas informáticos que penetraron en OpenAI con ayuda del chatbot Claude de Anthropic advirtieron que la industria de la IA no está preparada para los riesgos de seguridad creados por el poder de su propia tecnología. Anthropic también chocó con la Administración Trump a principios de este año después de que el Pentágono prohibiera a la empresa operar en sistemas federales, tras la negativa de Anthropic a permitir el uso de su tecnología para armas autónomas o vigilancia doméstica masiva.

Expertos en seguridad alertan sobre el riesgo del software de terceros

Alex Stamos, director de seguridad de la información de la startup de codificación con IA Cognition, revisó los hallazgos de Cathedral a petición de The Washington Post y valoró su alcance.

"Aquí encontraron algo importante", afirmó Stamos, quien anteriormente fue director del Observatorio de Internet de Stanford en el Centro de Política Cibernética de esa universidad.

Sin embargo, advirtió que el riesgo de conectar aplicaciones de terceros a los sistemas de una empresa "es un problema enorme para todo el mundo". Los hallazgos de Cathedral mostraban "una brecha" en la forma en que el desarrollador de IA gestiona su uso de proveedores de software externos.

"Este es un problema muy difícil, pero Anthropic podría haberlo hecho mucho mejor", señaló Stamos.

Anthropicafirmó en su comunicado que Cathedral había exagerado las "implicaciones de seguridad nacional implícitas" de sus hallazgos, y que la startup no había seguido completamente las normas de su programa de recompensas por fallos de seguridad, al no revelar toda su actividad dentro de los sistemas de Anthropic. En su informe, Cathedral sostuvo que "los accesos a datos se mantuvieron en el mínimo absoluto, de acuerdo con las mejores prácticas de investigación en seguridad".

Cathedral, sus fundadores y su vínculo con el DOGE

Cathedral forma parte de una oleada de empresas fundadas por exmiembros del DOGE para aprovechar oportunidades en el sector privado y contratos gubernamentales. El cofundador de Cathedral, Gavin Kliger, ejerció como director de datos del Pentágono tras su etapa en el DOGE. Durante su tiempo en el Pentágono, participó en conversaciones en las que funcionarios simulaban qué podría ocurrir si una nación extranjera accediera a la investigación de un laboratorio de IA de frontera en Silicon Valley, según una persona cercana a la empresa. Tres agencias federales han contratado recientemente a Cathedral para trabajos de ciberseguridad. La startup ha sido valorada por los inversores en 1.400 millones de dólares y ha recaudado 160 millones de dólares, según la firma de datos Pitchbook. Marc Andreessen y Shaun Maguire, destacados inversores que apoyaron al presidente Donald Trump y al DOGE, forman parte del consejo de administración de Cathedral. Una portavoz de Cathedral declinó hacer comentarios.

El informe de Cathedral y las advertencias sobre la vulnerabilidad de la industria

Los investigadores de Cathedral escribieron en el borrador del informe de la empresa, un post de blog en fase preliminar, que sus hallazgos "revelan una brecha grave entre las capacidades ofensivas que están emergiendo ahora y las defensas que protegen algunos de los activos tecnológicos más vulnerables de Estados Unidos".

"El hecho de que las debilidades en el software empresarial ordinario puedan comprometer la infraestructura incluso de las organizaciones más avanzadas debería ser un toque de atención para todas las empresas de Estados Unidos", señala el informe.

Por su parte, el empleado de Anthropic Jacob Coxon dimitió públicamente el mes pasado alegando su preocupación por la irresponsabilidad de la empresa con tecnología de IA peligrosa, incluida su dependencia del software empresarial convencional. Acusó a la compañía de hacer "una apuesta arrogante que no debería lanzarse desde el Slack de una empresa privada", en referencia a la herramienta de mensajería empresarial utilizada por Anthropic y muchas otras firmas tecnológicas.