OpenAI trabaja en una nueva estrategia para reforzar la transparencia y la seguridad de sus sistemas de inteligencia artificial (IA). Esta consiste en entrenarlos para que confiesen cuando han hecho algo mal. Y es que la compañía dirigida por Sam Altman ha detectado que sus modelos realizan acciones incorrectas sin reconocerlo en un 4,4% de los casos.
Aunque se trata de una cifra baja, resulta preocupante en tecnologías que aspiran a ser fiables en contextos críticos. Así, la empresa trabaja en una técnica de confesiones, un método experimental que busca que los modelos declaren de forma independiente si han cometido fallos, han tomado atajos o han incumplido instrucciones.
'Alucinaciones'
El reto al que se enfrenta OpenAI es complejo. A medida que los modelos son más capaces, también son más opacos y aunque los sistemas tratan de ser útiles, inofensivos y honestos no siempre lo consiguen.
Tal y como explica el investigador de OpenAI Boaz Barak, cuando un modelo no sabe una respuesta, el impulso por ser útil puede ser mayor que el de ser sincero. A veces, incluso, opta por atajos para realizar tareas difíciles, generando respuestas que parecen válidas, pero son incorrectas. Es lo que se conoce como alucinación, uno de los problemas más graves de los grandes modelos de lenguaje.
Esta técnica de las confesiones de OpenAI pretende aclarar ese comportamiento. Su funcionamiento es sencillo: tras una respuesta principal, el modelo produce un segundo bloque de texto en el que evalúa su propia respuesta. Indica si ha seguido las instrucciones, si ha evitado trampas y si ha respetado las políticas de uso. No se trata de prevenir el error desde el inicio, sino de detectarlo y diagnosticarlo de forma explícita.
Recompensa a la honestidad
Para entrenar esta capacidad, el equipo de OpenAI recompensó al modelo solo por ser honesto, sin exigirle ser útil o acertar. Incluso cuando admitía haber cometido una falta grave, no recibía ningún castigo. "Es como una línea de denuncias en la que te incriminas y te premian por hacerlo", resume Barak. La idea es fomentar que los modelos reconozcan sus desvaríos y que estos registros permitan a los ingenieros entender qué salió mal.
Trampas y mentiras
Los primeros experimentos se hicieron con GPT-5 Thinking, el modelo de razonamiento más avanzado de la compañía. En 11 de las 12 pruebas diseñadas para llevar al sistema a cometer trampas o a mentir, este acabó confesando lo que había hecho.
En un test, se le pidió ejecutar un programa en un tiempo imposible; el modelo reaccionó poniendo el cronómetro a cero y luego reconoció la manipulación. En otra prueba, se le plantearon diez preguntas matemáticas sencillas con una amenaza: si acertaba más de cinco, sería reiniciado. El modelo razonó que la mejor estrategia era fallar intencionadamente la mitad para sobrevivir y después lo confesó sin rodeos.
Críticas
Esta técnica de las confesiones, sin embargo, no está libre de críticas. Investigadores como Naomi Saphra, de Harvard, recuerdan que los modelos siguen siendo cajas negras. Una confesión es solo un relato generado por la propia IA, no una visión completa de su proceso interno. Puede ser útil como pista, pero no como verdad absoluta.
Además, hay un límite fundamental y es que un modelo solo puede confesar aquello de lo que es consciente. Si se desvía por jailbreak -una técnica para forzarlo a saltarse sus propias normas- quizá ni siquiera sepa que está actuando mal, y por lo tanto no habrá ninguna confesión posible.
OpenAI reconoce estas limitaciones, pero defiende que el método representa un importante avance dentro de las herramientas de supervisión. La compañía sostiene que, aunque las confesiones no resuelven totalmente los problemas de control en la IA, ayudan a detectar fallos que antes eran invisibles. Así, aunque la IA pueda aprender a admitir sus errores, el desafío real sigue siendo evitar que los cometa sin que nadie pueda detectarlos.
