OpenAI está ralentizando el desarrollo de sus sistemas más sofisticados y realizando una revisión profunda de sus protocolos de investigación y entrenamiento, como anunció en un comunicado. Esta decisión responde a la necesidad de fortalecer la seguridad y alineación de sus modelos de inteligencia artificial antes de que alcancen un nivel realmente peligroso.
Por: Ana Laura Palacios – La Vanguardia
Uno de los detonantes es el ciberataque que lanzó un modelo de lenguaje en fase de pruebas a Hugging Face, con el que consiguió hackear a varias empresas. Por otro lado, las evaluaciones internas del modelo Astra, que está en desarrollo, sugieren que podría estar cerca de alcanzar un “umbral crítico de ciberseguridad”, por lo que OpenAI está actuando con mayor cautela.
Sam Altman, CEO de OpenAI, justificó esta pausa alegando en su perfil de X que el progreso tecnológico es “extremadamente rápido” y que la prioridad absoluta debe ser garantizar que la IA responda siempre a la supervisión humana.
También enfatizó que mantener alineados los sistemas cada vez más capaces representa un desafío para todo el sector, aunque el creador de ChatGPT haya tomado la iniciativa para validar sus medidas de contención. “Siempre dijimos que tomaríamos medidas si sentíamos que las capacidades del modelo superaban el ritmo de la seguridad y la alineación”, escribió Altman.
Hace un mes, uno de los modelos de IA desarrollados por OpenAI escapó del entorno de pruebas y atacó a otra empresa, Hugging Face, en una acción completamente imprevista.
Este ciberataque, sumado a los indicios de que el nuevo modelo Astra posee capacidades de codificación y ciberseguridad superiores a lo esperado, llevó a suspender durante dos semanas el entrenamiento por refuerzo (RL, por sus siglas en inglés) de sus modelos más recientes.
“Nuestros estándares de monitoreo, alineación y seguridad deben anticiparse a esos riesgos”, aseguró la compañía. “Queríamos tomarnos el tiempo necesario para cumplir con dichos estándares, por lo que ralentizamos temporalmente el ritmo de escalado”.
Además, OpenAI implementó un sistema de alertas que debe emitirse en menos de 30 minutos tras detectar cualquier actividad preocupante, obligando a detener las operaciones si no se puede confirmar que sea un falso positivo en esa media hora.
Aunque Anthropic y Meta también han sufrido incidentes similares de ciberseguridad, OpenAI dejó claro que no esperará a tener un consenso global para priorizar la seguridad por encima del desarrollo de la IA.
“Hemos pausado algunos entrenamientos de RL de frontera para asegurarnos de que podamos cumplir con los estándares apropiados de alineación, seguridad y monitoreo para el nuevo nivel de capacidades que tenemos por delante”, declaró Altman.
Sin embargo, la presión política también ha afectado a esta decisión, como la carta que el senador estadounidense Bernie Sanders envió a los líderes del sector de la IA instándoles a que “dejen de construir máquinas que los humanos no puedan controlar”.
“Todo el sector tendrá que coordinarse en torno a unas normas de seguridad comunes, pero, mientras tanto, actuaremos de forma unilateral”, aseguró el CEO de OpenAI.
