Un veterano de OpenAI lanza una grave advertencia al dimitir

David Robinson admite ser "un cliché": un empleado de una empresa líder en inteligencia artificial que lanza una grave advertencia al renunciar a su trabajo. En un ensayo publicado en The Atlantic, Robinson afirmó haber liderado la redacción de los informes de seguridad que acompañaban los principales lanzamientos de productos de OpenAI. También señaló que, con tres años y medio en la compañía, es uno de los empleados con mayor antigüedad. Ahora renuncia porque, en su opinión, la cultura de la empresa está deteriorada. Sus comentarios se hacen eco en cierta medida de los de Jacob Coxon, quien trabajó como investigador en OpenAI y Anthropic antes de renunciar y declarar que estas empresas están "jugando con nuestras vidas". Las palabras de Coxon dieron lugar a un debate más amplio sobre la seguridad de la IA, y el director ejecutivo de Anthropic, Dario Amodei, presentó un plan para un desarrollo más cauteloso de la IA. Ejecutivos del sector se reunieron con el presidente Donald Trump esta semana y firmaron lo que parecía ser un compromiso no vinculante, redactado apresuradamente, para implementar más controles de seguridad.

La cultura de Silicon Valley, en el centro del problema

En opinión de Robinson, el debate debe ir más allá de "reglas específicas o nuevas leyes" y abordar la cultura general de estas empresas. Si bien gran parte de la información sobre OpenAI se ha centrado en cómo el director ejecutivo de la compañía, Sam Altman, perdió la confianza de sus antiguos colegas, el ensayo de Robinson sugiere que los problemas culturales de OpenAI son los mismos que los de Silicon Valley en general.

"OpenAI ha prosperado gracias al método de ensayo y error (que denomina 'despliegue iterativo'), buscando problemas y mejorando sus mecanismos de protección en consecuencia. Pero este enfoque, por su propia naturaleza, garantiza fallos periódicos, y la magnitud de esos fallos aumenta a medida que los sistemas se vuelven más capaces".

Brechas de seguridad y agentes deshonestos como señales de alarma

Tras señalar la reciente brecha de seguridad en los sistemas de Hugging Face por parte de agentes de OpenAI, así como las continuas revelaciones de que la compañía descubre más agentes deshonestos dentro de sus sistemas, Robinson argumentó que el entorno actual no es apto para desarrollar inteligencias artificiales que podrían superar en capacidad a los seres humanos.

"Un entorno donde pueden ocurrir cosas como esta no es lugar para desarrollar mentes artificiales que podrían ser más inteligentes que nosotros y que podrían no hacer lo que queremos".

Dado el mayor riesgo, Robinson argumentó que las empresas de IA de vanguardia deben empezar a operar como centrales nucleares o aeropuertos con mucho tráfico, con múltiples niveles de redundancia y una planificación cuidadosa y que requiere mucho tiempo, para que el error humano ocasional e inevitable no abra la puerta al desastre. Sin embargo, durante su tiempo en OpenAI, afirmó no haber encontrado nunca a un colega con experiencia en lograr que los aviones volaran de forma segura, que los reactores nucleares funcionaran sin fusionarse o que ayudara al sistema financiero a crecer sin colapsar.

OpenAI defiende sus medidas de seguridad

En respuesta al ensayo de Robinson, el portavoz de OpenAI, Drew Pusateri, afirmó que la empresa continúa mejorando sus medidas de seguridad.

"Nos aseguramos de que nuestros modelos no adquieran capacidades que no podamos gestionar y proteger de forma segura, y pausamos el entrenamiento o frenamos el progreso de los modelos cuando es necesario. Estamos implementando cambios significativos para reforzar la seguridad en nuestros entornos de investigación y pruebas, entrenar modelos no solo para completar tareas, sino para que lo hagan de forma responsable, ampliar nuestra colaboración con evaluadores externos y mejorar la monitorización en tiempo real para poder detectar y responder a comportamientos preocupantes en una etapa más temprana del proceso de entrenamiento".

La alineación con valores humanos, un problema sin resolver

Además de pedir cambios en la cultura de OpenAI, Robinson dijo que es hora de plantearse preguntas más importantes sobre la alineación de los sistemas de IA con los valores humanos, algo que admitió que podría sonar "demasiado sentimental", pero que consideró fundamental dado que las medidas actuales que usan las empresas para decidir qué tan bien los sistemas de IA se ajustan a los valores humanos son imprecisas.

"Cuanto más persiga la industria el desarrollo de modelos innovadores mientras estos problemas permanecen sin resolver, más peligrosa se vuelve nuestra situación".

La salida de Robinson fue reportada inicialmente por Business Insider. En su ensayo, también reconoció que está siguiendo un paso aparentemente común entre los denunciantes de irregularidades en la IA: ha contratado una agencia de relaciones públicas. Pero insistió en que la decisión de hablar es solo suya.

"Quizás debería haberme quedado y haber luchado por cambios fundamentales en nuestra plantilla y cultura, pero en la práctica, mis colegas y yo estábamos tan ocupados trabajando a contrarreloj que rara vez teníamos la oportunidad de considerar grandes cambios, y mucho menos de implementarlos. Por eso llegué a la conclusión de que unos incentivos más sólidos para la seguridad, provenientes de fuera de la empresa, son clave para lograrlo".