Nueva investigación de OpenAI revela que el modelo GPT-6.1 Sol alcanza una precisión de hasta el 97,9 % en la traducción de software COBOL antiguo a lenguajes modernos dentro de la prueba MultiPL-E.
Nueva investigación para medir el rendimiento en los lenguajes COBOL, Fortran y Visual Basic
La prueba MultiPL-E y la superioridad del modelo GPT-6 Astra en 20 lenguajes
Traducción de sistemas COBOL a lenguajes modernos con una precisión de hasta el 97,9 %
Disponibilidad de las pruebas en GitHub y los límites de aplicación en la banca real
Preguntas frecuentes
Nueva investigación para medir el rendimiento en los lenguajes COBOL, Fortran y Visual Basic
El 19 de octubre de 2026, OpenAI publicó un nuevo estudio de investigación que analiza el rendimiento de sus modelos de lenguaje más recientes al trabajar con lenguajes de programación menos representados en los datos habituales de entrenamiento de inteligencia artificial, principalmente COBOL, Fortran, Visual Basic y OCaml. Estos lenguajes conservan una importancia vital en los sistemas bancarios, la informática científica y el software corporativo heredado, a pesar de recibir menos atención en comparación con los lenguajes de desarrollo modernos.
La investigación aborda dos problemas interconectados: el primero consiste en escribir software completamente nuevo en varios lenguajes de programación, mientras que el segundo se centra en convertir programas heredados existentes en lenguajes de programación modernos sin alterar su comportamiento funcional previsto.
La prueba MultiPL-E y la superioridad del modelo GPT-6 Astra en 20 lenguajes
La empresa denominó a la primera evaluación «MultiPL-E», una prueba que exige a los modelos de inteligencia artificial construir software compatible con el motor de bases de datos SQLite en 20 lenguajes de programación diferentes. Esta prueba requiere mucho más que la generación de fragmentos de código cortos, ya que el modelo debe organizar todo el programa, gestionar los datos, responder a errores y ejecutar funciones que produzcan los resultados esperados de la base de datos.
Con el nivel máximo de esfuerzo de razonamiento, el modelo GPT-6 Astra logró una tasa de aprobación promedio del 87,4 % en las pruebas, en comparación con solo el 26,8 % del modelo GPT-5.6 Sol. A pesar de la mejora en el rendimiento en los 20 lenguajes, los resultados variaron claramente; específicamente en COBOL, la tasa de éxito saltó del 10,9 % al 72,1 %, aunque COBOL siguió siendo el lenguaje más difícil de la evaluación.
Traducción de sistemas COBOL a lenguajes modernos con una precisión de hasta el 97,9 %
La segunda evaluación se centró en la migración y actualización de software, donde OpenAI probó la capacidad de sus modelos para traducir programas escritos en COBOL a lenguajes modernos, incluidos C++, Java, Kotlin, Python y Rust, manteniendo estrictamente su comportamiento original. La gravedad de esta tarea radica en que el programa traducido puede funcionar sin errores técnicos, pero aun así generar resultados financieros incorrectos debido a diferencias sutiles en el redondeo de números o cálculos bancarios.
La empresa informó que el modelo GPT-6.1 Sol alcanzó una precisión del 86,6 % con un esfuerzo de razonamiento bajo, en comparación con solo el 5.4 % del modelo GPT-5.6 Sol, mientras que la precisión de GPT-6.1 Sol aumentó hasta el 97,9 % con el mayor esfuerzo de razonamiento.
Disponibilidad de las pruebas en GitHub y los límites de aplicación en la banca real
OpenAI anunció el lanzamiento del entorno de evaluación MultiPL-E y su conjunto de pruebas asociado a través de la plataforma GitHub, con el fin de permitir que investigadores independientes examinen la metodología y reproduzcan o critiquen los resultados. Aunque estos avances pueden ayudar a las organizaciones a mantener sistemas escritos hace décadas, la lectura de la investigación subraya que los resultados provienen del propio marco de evaluación de la empresa y no constituyen una prueba independiente de que se puedan migrar por completo los sistemas de producción de un banco sin una revisión experta humana que tenga en cuenta las dependencias, las reglas de negocio y la seguridad.
La investigación de OpenAI sobre lenguajes de programación menos representados, como COBOL, Fortran y Visual Basic, adquiere una importancia económica y técnica extrema para los sectores bancario, financiero y gubernamental, dado que billones de dólares en transacciones financieras globales todavía fluyen diariamente a través de sistemas escritos en COBOL hace décadas, en un momento en que disminuye el número de programadores expertos capaces de mantener o actualizar dichos sistemas.
El aumento de la tasa de éxito en la prueba MultiPL-E al 87,4 % para el modelo GPT-6 Astra y la precisión del 97,9 % en la traducción de programas COBOL en el modelo GPT-6.1 Sol ofrecen una perspectiva prometedora para acelerar los proyectos de modernización digital, siempre que estas herramientas se combinen con revisiones de ingeniería y financieras rigurosas que garanticen la ausencia de cualquier desviación en los cálculos bancarios o las reglas de negocio críticas.
Preguntas frecuentes
Pregunta: ¿Cuáles son los lenguajes de programación en los que se centró la nueva investigación de OpenAI?
Respuesta: La investigación se centró en los lenguajes menos representados en los datos de entrenamiento y vitales para las organizaciones, como COBOL, Fortran, Visual Basic y OCaml, dentro de una evaluación que abarcó 20 lenguajes.
Pregunta: ¿Qué resultado obtuvo el modelo GPT-6 Astra en la prueba MultiPL-E?
Respuesta: El modelo logró una aprobación promedio del 87,4 % en 20 lenguajes de programación en comparación con el 26,8 % de la generación GPT-5.6 Sol, y elevó la tasa de éxito en el lenguaje COBOL del 10,9 % al 72,1 %.
Pregunta: ¿Cómo fue el rendimiento del modelo GPT-6.1 Sol al traducir programas COBOL a lenguajes modernos?
Respuesta: El modelo alcanzó una precisión del 86,6 % con un esfuerzo de razonamiento bajo y llegó al 97,9 % de precisión al elevar el nivel de esfuerzo de razonamiento.
Pregunta: ¿Significan estos resultados que los sistemas bancarios se pueden actualizar automáticamente sin revisión humana?
Respuesta: No, los resultados corresponden a estándares de prueba específicos, mientras que los sistemas bancarios de producción requieren una revisión experta rigurosa para garantizar la precisión de las reglas contables, la seguridad y las dependencias.
