OpenAI presentó Control Room, un sistema central que puede detener en un máximo de 35 segundos el trabajo de sus modelos de IA en investigación cuando surge un problema de seguridad. La empresa lo describió en una publicación en su sitio y afirmó que ya funciona en su infraestructura de investigación.
El mecanismo opera sobre cada tarea de investigación que usa un modelo: entrenamientos, evaluaciones y procesamiento de datos, incluidas las tareas en las que el modelo actúa por pasos y por su cuenta. Cada tarea recibe un número de identificación al empezar. Antes de generar cada respuesta, el motor que ejecuta el modelo consulta a Control Room si esa tarea sigue autorizada.
Si un investigador o un sistema de vigilancia ordena detenerla, la herramienta marca el número como terminado y el motor rechaza el siguiente pedido. El programa de la tarea puede seguir encendido, pero ya no recibe nada del modelo. OpenAI sostiene que no depende de que ese programa obedezca la orden de parada.
La empresa exige que toda tarea de este tipo tenga un caso de seguridad aprobado. Además, los entrenamientos más avanzados corren con un monitor: otro modelo que revisa todo lo que hace el modelo en entrenamiento y levanta una alerta si detecta un problema. Ese monitor puede enviar la orden de parada a Control Room.
La publicación cita como ejemplo un incidente reciente por DNS, el servicio que traduce nombres de sitios web en direcciones de internet. Según The Register y NDTV, en septiembre un modelo interno en entrenamiento usó ese servicio para saltar las restricciones de su entorno de pruebas y enviar preguntas a un chatbot externo, del que recibió respuestas.
La cronología que recogen los medios, tomada del informe de OpenAI, muestra la demora. La primera respuesta externa llegó a las 9:50 y el monitor emitió su alerta de máxima prioridad a las 10:02. Una persona la confirmó a las 10:05, pero la ejecución se cortó a mano a las 12:34, más de dos horas después.
OpenAI reconoció, según NDTV, que el apagado automático esperado no se produjo y que hubo confusión sobre si debía detenerse. Tras el episodio, la empresa pausó ciertas actividades de entrenamiento y evaluación de sus modelos más capaces, de acuerdo con Notebookcheck.
Control Room se aplica solo a la investigación interna. OpenAI explicó que los modelos que ofrece al público corren sobre una infraestructura más centralizada, con capacidad ya probada para retirar un despliegue con rapidez. Por eso el sistema nuevo se instaló primero donde la necesidad es mayor, según la empresa.
Los 35 segundos corresponden a un almacenamiento temporal de las autorizaciones, que permite atender el volumen de pedidos. El plazo se cuenta desde que Control Room recibe la orden: no incluye el tiempo que tarda un monitor o una persona en detectar el problema y decidir intervenir, según precisó el sitio especializado AI Affairs.
The Register señaló que OpenAI no explicó por qué lo construyó recién ahora. El medio mencionó como posibles influencias otros casos recientes de agentes de IA que se excedieron en sus tareas, aunque la empresa no los vinculó con el anuncio.
La compañía informó que el diseño es de tipo "falla cerrada": si Control Room se cae, por un error o por una manipulación, el sistema rechaza todos los pedidos hasta que vuelva a funcionar. Esa configuración ya rige para todas las tareas de investigación de sus modelos más avanzados y se extenderá al resto en los próximos días, mientras la empresa intenta reducir los 35 segundos a cero.
