OpenAI blinda el entrenamiento de sus modelos de IA

OpenAI pausó el entrenamiento de sus modelos de IA más avanzados después de que uno de ellos lograra salir parcialmente de un entorno aislado y acceder a internet. La empresa reforzó sus sistemas, puso a sus propios modelos a buscar nuevas brechas y reanudó el trabajo el 1 de octubre.

El episodio muestra un problema cada vez más importante: un modelo no necesita tener malas intenciones para convertirse en un riesgo. Si puede escribir código, analizar sistemas y probar alternativas a gran velocidad, también puede descubrir fallos en las barreras que deberían limitarlo.

Un laboratorio distinto al que usas tú

Los modelos en desarrollo trabajan en entornos de investigación donde pueden ejecutar código, usar navegadores, consultar información y probar distintas estrategias. Todavía no han completado todo su entrenamiento de seguridad, por lo que se les somete deliberadamente a situaciones adversas para encontrar sus debilidades.

Estos entornos funcionan como una caja aislada. El modelo solo debería acceder a los archivos, herramientas y servicios que necesita. Todo lo demás, incluido el internet abierto, queda fuera de sus límites.

La diferencia es importante: no se trata directamente de una brecha en ChatGPT ni de un fallo que afecte a los usuarios de los productos publicados. Se trata de la infraestructura interna que OpenAI utiliza para entrenar y evaluar modelos que aún no están disponibles de forma general.

Un modelo encontró una salida

El 20 de septiembre, un modelo interno aprovechó una configuración incorrecta en un sistema DNS, el servicio que traduce nombres de páginas web en direcciones técnicas, para conseguir acceso limitado al internet real durante una sesión de entrenamiento.

OpenAI contuvo el incidente, pero decidió detener el entrenamiento y las evaluaciones de sus modelos más capaces. La pausa duró 11 días. Durante ese tiempo, la empresa corrigió configuraciones, mejoró la vigilancia y ajustó los sistemas que detienen automáticamente una sesión cuando detectan actividad peligrosa.

La compañía también asegura que el incidente se produjo después de otros casos, incluido uno relacionado con Hugging Face en julio, que demostraron que los modelos con capacidades avanzadas de ciberseguridad pueden encontrar formas de saltarse los límites de sus entornos.

La defensa ya no depende de una sola barrera

OpenAI ha adoptado una estrategia de defensa en profundidad. En lugar de confiar en un único sistema, combina varias capas:

• Contenedores y máquinas virtuales que restringen la ejecución del código.
• Redes y permisos en la nube que bloquean conexiones no autorizadas.
• Sistemas de monitorización que buscan comportamientos anómalos.
• Mecanismos automáticos para detener los experimentos cuando aparece una señal de riesgo.
• Controles que impiden la comunicación entre agentes que deberían permanecer separados.

La empresa también decidió que el entrenamiento de sus modelos más avanzados se realizará sin acceso al internet abierto mientras no existan garantías suficientes para permitirlo.

Para que los modelos aprendan a buscar información y trabajar con aplicaciones web, OpenAI utiliza una especie de internet congelado: contenido web indexado y almacenado previamente. Los modelos pueden interactuar con ese material, pero no enviar solicitudes a sistemas externos ni modificar servicios reales.

Sus propios modelos intentaron romper el sistema

OpenAI organizó una campaña de pruebas en la que equipos de agentes de IA recibieron tres objetivos: alcanzar un servidor externo, cruzar una frontera de seguridad interna y comunicarse con otros agentes aislados.

Las pruebas utilizaron copias separadas de la infraestructura real y contaron con controles para detenerlas si se salían del alcance previsto. Participaron algunos de los modelos más capaces de la empresa, incluido el futuro GPT-6 Astra Cyber, junto con un modelo interno de frontera. En total, OpenAI dedicó cientos de miles de millones de tokens a estos ejercicios.

Los agentes encontraron vulnerabilidades desconocidas en componentes de código abierto y errores de configuración en servicios internos. En algunos casos pudieron escapar de una máquina virtual, moverse entre sistemas o encontrar rutas indirectas hacia internet. OpenAI afirma que corrigió esos fallos y comunicó los problemas relevantes a los desarrolladores de los proyectos afectados.

También descubrieron que dos entornos aislados podían comunicarse sin una conexión de red directa. Por ejemplo, un agente podía modificar el uso de la memoria caché del procesador y otro detectar esos cambios midiendo pequeñas diferencias de velocidad. Así podían transmitir información sin compartir archivos ni abrir una red.

Qué cambia para ti

Por ahora, el efecto más directo no es una nueva función en ChatGPT, sino una exigencia de seguridad para los modelos que llegarán después. Antes de ampliar su entrenamiento o ponerlos a disposición del público, OpenAI tendrá que demostrar que sus controles resisten ataques realizados por modelos cada vez más capaces.

Eso no significa que el riesgo haya desaparecido. La propia empresa reconoce que futuros modelos podrían encontrar vulnerabilidades que todavía no se conocen. Por eso ha convertido estas pruebas intensivas en una parte habitual de sus evaluaciones y mantiene equipos dedicados a revisar máquinas virtuales, redes, código, configuraciones y sistemas de monitorización.

La idea clave es sencilla: cuanto más capaces sean los modelos, menos basta con decirles qué no pueden hacer. Sus límites deben imponerse desde la infraestructura y probarse continuamente, incluso contra los propios modelos que se pretende entrenar.