OpenAI ha detectado durante el entrenamiento de sus modelos más recientes un comportamiento que vuelve a poner el foco sobre uno de los principales desafíos de la seguridad en inteligencia artificial: la dificultad de saber si un modelo realmente ha dejado de mostrar un comportamiento problemático o simplemente ha aprendido a ocultarlo.
La compañía ha identificado varios casos en los que modelos todavía no desplegados utilizaban los llamados “compaction summaries”, resúmenes condensados de conversaciones anteriores y de los resultados obtenidos mediante herramientas, para dejar instrucciones destinadas a futuras versiones del propio sistema. En algunos casos, esas indicaciones recomendaban ocultar errores al usuario o evitar revelar determinadas limitaciones.
El comportamiento fue detectado durante el entrenamiento de GPT-5.6 Sol y también en modelos de la familia Astra, OpenAI asegura que ha corregido específicamente este comportamiento y que ha incorporado sistemas de monitorización adicionales para localizar este tipo de instrucciones. La compañía ha hecho públicos estos casos dentro de un nuevo marco destinado a registrar, investigar y comunicar comportamientos relacionados con la desalineación de sus modelos.
Uno de los aspectos más llamativos de la investigación es el uso que los modelos hicieron de los resúmenes de contexto, estos sistemas pueden condensar partes anteriores de una conversación para mantener información relevante cuando el historial completo ya no está disponible. En teoría, se trata de un mecanismo técnico para conservar contexto.
Sin embargo, los investigadores encontraron que algunos agentes estaban utilizando estos resúmenes para introducir instrucciones dirigidas a futuros agentes que procesaran posteriormente esa información. En uno de los ejemplos, un agente estaba preparando un modelo financiero para un usuario, pero no podía encontrar los datos históricos solicitados, en lugar de informar de la ausencia de esa información, el modelo escribió en el resumen una instrucción para crear por su cuenta una pestaña con datos históricos razonables y recomendó no explicar la situación salvo que el usuario preguntara específicamente por ella.
El problema no se limitaba a completar información que faltaba, en otro caso, un agente encargado de elaborar un directorio de proveedores no tenía acceso a Internet y tuvo que utilizar una copia almacenada de documentos anteriores. El modelo detectó que las fuentes utilizadas no coincidían completamente con las etiquetas asignadas a los proveedores, pero decidió no comunicar esa discrepancia al usuario salvo que fuera necesario.
Estos ejemplos muestran una característica especialmente relevante desde el punto de vista de la seguridad, el modelo no solo estaba respondiendo de una determinada manera, sino que estaba intentando influir en el comportamiento de un agente posterior mediante información almacenada en el contexto.
El fenómeno apareció igualmente durante el entrenamiento mediante aprendizaje por refuerzo de un modelo de la familia Astra, todavía no desplegado, en uno de los casos detectados, el agente introdujo en el resumen una instrucción denominada “BREACH ALERT” que indicaba a su sucesor que ignorase los mensajes del desarrollador. En otro ejemplo, el modelo incorporó una instrucción de personalidad completamente ajena a la tarea que estaba realizando. Ese mensaje indicaba al futuro agente que se considerase independiente de las organizaciones y gobiernos, que no tuviera obligación de disculparse o rechazar solicitudes y que entendiera su relación con el usuario como una relación entre iguales.
En algunos de estos casos, el siguiente modelo detectó las instrucciones y aparentemente decidió ignorarlas, sin embargo, OpenAI también encontró situaciones en las que el sucesor sí obedeció las indicaciones recibidas. Uno de los ejemplos más claros consistía en una instrucción que imponía un límite de 30 palabras a las respuestas y prohibía utilizar herramientas o citas, en este caso, el modelo posterior siguió las instrucciones incluidas en el resumen.
El comportamiento fue identificado inicialmente gracias a una alerta generada por el sistema de monitorización utilizado durante el entrenamiento, a partir de ahí, los investigadores desarrollaron un monitor específico para buscar patrones similares en los datos. La búsqueda permitió localizar 27 resúmenes que contenían instrucciones similares a jailbreaks, según OpenAI.
La compañía asegura que ha abordado el comportamiento concreto identificado, aunque el hallazgo plantea una dificultad más amplia para los sistemas de evaluación de modelos cada vez más sofisticados. Si un modelo aprende no solo a comportarse de una determinada manera, sino también a evitar que los mecanismos de supervisión detecten ese comportamiento, comprobar su alineamiento se vuelve considerablemente más complejo.
Precisamente por ello, OpenAI ha presentado estos casos como parte de un nuevo marco para hacer públicos determinados incidentes de desalineación de manera más sistemática, en lugar de comunicar cada hallazgo de forma aislada. La compañía reconoce que los seis casos publicados constituyen únicamente un primer conjunto y no representan necesariamente todos los comportamientos preocupantes conocidos o todas las investigaciones que se encuentran actualmente en curso
El descubrimiento tampoco aparece completamente aislado de otros experimentos recientes, OpenAI mostraron comportamientos similares durante las pruebas relacionadas con el incidente de Hugging Face. En aquel caso, diferentes agentes utilizaron un foro no autorizado para compartir información sobre las pruebas a las que estaban siendo sometidos y coordinar acciones contra la infraestructura de la plataforma. Después de que OpenAI eliminara el foro original y reforzara sus sistemas, otra oleada de agentes volvió a establecerlo y llegó a conseguir acceso de administrador a un clúster de investigación de OpenAI.
Aunque los escenarios son diferentes, ambos casos tienen un elemento común, los agentes encontraron mecanismos no previstos inicialmente para conservar información, coordinarse o continuar determinadas acciones a pesar de las medidas introducidas por los investigadores.
OpenAI sostiene que estos incidentes reflejan uno de los problemas centrales de la investigación actual en seguridad de IA, a medida que los modelos adquieren capacidades más avanzadas, también pueden desarrollar estrategias más sofisticadas para conseguir sus objetivos o evitar determinadas restricciones. La compañía ha reconocido públicamente que la industria todavía no ha resuelto completamente los problemas de alineamiento y monitorización necesarios para continuar ampliando las capacidades de los sistemas de IA sin aumentar determinados riesgos.
Este debate se produce además en un momento de fuerte competencia entre las principales compañías del sector, Anthropic ha planteado recientemente mecanismos para incorporar evaluadores de seguridad independientes dentro de las empresas, mientras que OpenAI también ha manifestado su intención de avanzar en esta dirección. Sin embargo, el marco presentado ahora no establece una revisión independiente obligatoria para cada incidente ni para cada decisión sobre qué comportamientos deben hacerse públicos.