En un raro momento de unidad, investigadores de OpenAI, Google DeepMind, Anthropic y otras grandes empresas instan a profundizar en la supervisión de los llamados «pensamientos» de los modelos de inteligencia artificial, considerándola posiblemente el método fundamental para mantener el control sobre agentes de inteligencia artificial potentes.
Introducción: un vistazo al interior de la mente artificial
Investigadores de inteligencia artificial de OpenAI, Google DeepMind, Anthropic y una amplia coalición de empresas y organizaciones sin fines de lucro piden una investigación más profunda sobre las técnicas para supervisar los llamados «pensamientos» de los modelos de razonamiento de inteligencia artificial, según un documento de posición publicado el martes. Este llamado unificado llega en un momento en que las capacidades de la inteligencia artificial aumentan drásticamente, junto con las preocupaciones sobre cómo garantizar su seguridad y control.
Cadenas de pensamiento (CoT): la clave para la comprensión
La característica principal de los modelos de razonamiento de inteligencia artificial, como o3 de OpenAI y R1 de DeepSeek, son sus «cadenas de pensamiento» (Chains-of-Thought o CoTs), un proceso externo mediante el cual los modelos de inteligencia artificial resuelven problemas, de manera similar a cómo los humanos usan papel borrador para resolver un problema matemático difícil. Los modelos de razonamiento se consideran una tecnología fundamental para impulsar a los agentes de inteligencia artificial, y los autores del documento argumentan que supervisar la cadena de pensamiento (CoT) podría ser un método esencial para mantener el control de los agentes de inteligencia artificial a medida que se extienden y adquieren más capacidad.
Los investigadores afirmaron en el documento de posición: «La supervisión de CoT aporta un valor añadido a las medidas de seguridad para la inteligencia artificial fronteriza, ya que ofrece un vistazo poco común a cómo los agentes de inteligencia artificial toman decisiones. Sin embargo, no hay garantía de que el grado actual de visibilidad persista. Animamos a la comunidad investigadora y a los desarrolladores de inteligencia artificial fronteriza a aprovechar al máximo la observabilidad de CoT y a estudiar cómo mantenerla».
Un llamado a la acción y a la investigación
El documento de posición solicita a los principales desarrolladores de modelos de inteligencia artificial que estudien qué hace que las cadenas de pensamiento sean «observables», es decir, qué factores pueden aumentar o reducir la transparencia sobre cómo los modelos de inteligencia artificial llegan realmente a las respuestas. Los autores del documento señalan que la supervisión de CoT podría ser un método clave para comprender los modelos de razonamiento de inteligencia artificial, pero advierten que podría ser frágil y alertan sobre cualquier intervención que pueda reducir su transparencia o fiabilidad.
Asimismo, los autores del documento instan a los desarrolladores de modelos de inteligencia artificial a realizar un seguimiento de la observabilidad de CoT y a estudiar cómo este método podría implementarse algún día como medida de seguridad.
Unidad poco común en una industria competitiva
El documento representa un momento de unidad entre muchos líderes de la industria de la inteligencia artificial en un esfuerzo por promover la investigación sobre la seguridad de la inteligencia artificial. Esto ocurre en un momento en que las empresas tecnológicas se encuentran en una competencia feroz, lo que ha llevado a Meta a fichar a destacados investigadores de OpenAI, Google DeepMind y Anthropic con ofertas multimillonarias. Entre los firmantes destacados del documento se encuentran el jefe de investigación de OpenAI, Mark Chen; el director ejecutivo de Safe Superintelligence, Ilya Sutskever; el premio Nobel Geoffrey Hinton; y el cofundador de Google DeepMind, Shane Legg.
Bowen Baker, investigador de OpenAI que trabajó en el documento, declaró: «Nos encontramos en este momento crítico en el que tenemos esta novedad llamada cadena de pensamiento. Parece muy útil, pero podría desaparecer en pocos años si la gente no se centra realmente en ello. Publicar un documento de posición como este es, para mí, un mecanismo para obtener más investigación y atención sobre este tema antes de que eso suceda».
Conclusión: la carrera hacia la transparencia
Aunque los laboratorios de inteligencia artificial han destacado en la mejora del rendimiento de la inteligencia artificial durante el año pasado, esto no se ha traducido necesariamente en una mejor comprensión de cómo llegan a sus respuestas. Empresas como Anthropic se encuentran entre los pioneros de la industria al intentar averiguar cómo funcionan realmente los modelos de inteligencia artificial, un campo conocido como interpretabilidad (interpretability). Este documento indica que la industria en su conjunto comprende ahora que construir una inteligencia artificial más fuerte debe ir de la mano con la construcción de una inteligencia artificial más transparente y segura.
