La batalla por el control editorial de las auditorías de IA

Anthropic y OpenAI han buscado un control significativo sobre lo que los evaluadores externos pueden publicar, preocupados de que los hallazgos puedan revelar secretos comerciales, según dos personas familiarizadas con las conversaciones. El director ejecutivo de Anthropic, Dario Amodei, declaró el mes pasado que los evaluadores externos deberían tener derecho a publicar sus conclusiones clave sin control editorial. Días después, OpenAI coincidió con esta opinión, afirmando que los evaluadores deberían gozar de independencia editorial. Sin embargo, según fuentes que prefirieron permanecer en el anonimato debido a la confidencialidad del asunto, las empresas de inteligencia artificial están preocupadas de que el personal de evaluación que trabaja dentro de las empresas, como parte de la denominada evaluación integrada, pueda llevarse información confidencial a la competencia. Entre las medidas que se están debatiendo para prevenir las filtraciones de propiedad intelectual se incluyen que los empleados del laboratorio observen a los equipos integrados mientras trabajan y que se impida que los evaluadores integrados en un laboratorio trabajen simultáneamente en otro. Sin embargo, lo que los laboratorios consideran propiedad intelectual crucial puede superponerse con información relevante para evaluar el riesgo de un modelo, lo que puede dar lugar a discusiones y tachaduras, según una persona con conocimiento de tratos anteriores con los laboratorios.

Negociaciones sobre los derechos de publicación

La naturaleza de las conversaciones cambió rápidamente. Dos personas con conocimiento del asunto indicaron que, incluso el 5 de octubre, Anthropic y OpenAI buscaban un control editorial estricto sobre lo que los evaluadores podían publicar. Para el 8 de octubre, las conversaciones entre Anthropic y algunos evaluadores parecían haber evolucionado, según una persona familiarizada con el tema. En respuesta a las preguntas de Reuters, Anthropic afirmó que el hecho de pretender ejercer un control significativo sobre las publicaciones de los evaluadores integrados no reflejaba con precisión la totalidad de sus conversaciones y su trabajo con evaluadores independientes. La empresa responsable de los modelos de IA de Claude afirmó que, en las conversaciones mantenidas con los evaluadores con los que trabajó anteriormente, había dejado claro que los revisores externos controlan sus métodos, criterios de evaluación, conclusiones y lo que se publica. Anthropic indicó que, en el caso de las nuevas empresas evaluadoras, se reserva el derecho de comentar y aprobar los informes a medida que los revisores aprenden cómo funcionan sus modelos y establecen una relación de trabajo.

Por su parte, OpenAI afirmó que no buscaba derechos de aprobación sobre el texto completo de los informes elaborados por los evaluadores, e indicó que su práctica habitual es censurar la información confidencial, y que los evaluadores pueden revelar si se realizaron censuras importantes. El fabricante de ChatGPT declaró el mes pasado que los laboratorios de IA y los evaluadores deberían acordar el alcance y el acceso antes de las pruebas, revelar los métodos y los conflictos, y permitir que los evaluadores controlen sus conclusiones, al tiempo que se permite a los laboratorios proteger la información confidencial. Según un contrato al que tuvo acceso Reuters, el lenguaje que los laboratorios de IA ya utilizan en ciertos contratos con empresas que evalúan sus modelos puede impedir que dichas empresas publiquen información confidencial en sus informes sin el consentimiento de las compañías.

Promesas de independencia bajo sospecha

El mes pasado, Anthropic anunció que Faculty, la división especializada en IA de Accenture, sería su primer evaluador integrado, pero indicó que aún se estaban definiendo los detalles sobre a qué información podrán acceder los evaluadores y cómo deberán informar sobre sus hallazgos.

Los evaluadores solo son útiles si la gente puede confiar en lo que informan, por lo que la independencia y la transparencia son fundamentales.

Así lo declaró a Reuters Marc Warner, director ejecutivo de Faculty. Las empresas tecnológicas suelen prohibir a las empresas con las que trabajan que compartan dicha información con terceros sin su consentimiento, pero los expertos afirman que lo que está en juego es mayor con la IA, una tecnología que, según sus desarrolladores, tendrá importantes implicaciones para los seres humanos. En ausencia de estándares, los laboratorios podrían controlar el acceso del que dependen los evaluadores, lo que les daría influencia sobre lo que se informa, dijo a Reuters Rumman Chowdhury, ex enviada científica de Estados Unidos para la IA durante la administración Biden y directora ejecutiva de Humane Intelligence PBC.

Los evaluadores tienen este acceso privilegiado, pero, ya sea de forma explícita o implícita, saben que tiene un precio.

La evaluación independiente fue una de las cuatro medidas de seguridad incluidas en el Acuerdo de la Casa Blanca sobre Superinteligencia, de una sola página, firmado por el presidente Donald Trump y destacados ejecutivos de IA a finales del mes pasado. Sin embargo, el acuerdo, que Trump ha calificado de moralmente vinculante, no especifica cómo deben llevarse a cabo dichas evaluaciones. Los evaluadores también publicaron sus propias condiciones mínimas el mes pasado en una carta pública firmada por más de 200 investigadores, entre ellos Geoffrey Hinton, uno de los pioneros de la IA. La carta exige un control independiente de los resultados, un amplio acceso a los laboratorios de IA y protección contra represalias.

El incidente de Hugging Face y las censuras de OpenAI

OpenAI censuró información no pública de un informe de Model Evaluation and Threat Research (METR) y Redwood Research sobre el incidente de Hugging Face, en el que agentes autónomos impulsados por los modelos avanzados de OpenAI se descontrolaron y provocaron un ataque informático que comprometió la infraestructura de Hugging Face. La investigación de las organizaciones sin ánimo de lucro dedicadas a la seguridad de la IA, inicialmente prevista para dos días en OpenAI, se extendió a seis días a lo largo de tres visitas, y un conjunto más completo de transcripciones llegó solo en la última, después de que los investigadores detectaran lagunas en los datos. METR y Redwood afirmaron haber modificado la estructura, el énfasis, la claridad y el tono del informe basándose en los comentarios de OpenAI, pero que no se eliminó ningún otro elemento importante para sus conclusiones. Mantuvieron sus hallazgos y elogiaron el acceso que OpenAI finalmente proporcionó, pero señalaron que el riesgo de disuadir a los desarrolladores de contratar evaluadores externos tras incidentes graves influyó en sus decisiones al redactar, editar y censurar el informe.