Contenido del artículo:
- Introducción: El desafío fundamental de las alucinaciones
- ¿Qué son las alucinaciones y por qué ocurren?
- El problema de los incentivos: las evaluaciones fomentan las conjeturas
- La solución propuesta: modificar los modelos de evaluación
- Más allá del entrenamiento previo
- Implicaciones para la industria
- Conclusión: Hacia una inteligencia artificial más honesta
Introducción: El desafío fundamental de las alucinaciones
Un nuevo documento de investigación de OpenAI cuestiona por qué los modelos de lenguaje grande como GPT-5 y los chatbots como ChatGPT siguen alucinando, y si se puede hacer algo para reducir dichas alucinaciones. OpenAI define las alucinaciones como «declaraciones plausibles pero incorrectas generadas por modelos de lenguaje» y admite que, a pesar de las mejoras, las alucinaciones siguen siendo «un desafío fundamental para todos los modelos de lenguaje grande», un desafío que nunca se eliminará por completo.
¿Qué son las alucinaciones y por qué ocurren?
Para ilustrar este punto, los investigadores señalan que cuando le preguntaron a un «chatbot ampliamente utilizado» sobre el título de la tesis doctoral de Adam Toman Kalai (uno de los autores del documento), obtuvieron tres respuestas diferentes, todas incorrectas. Luego preguntaron por su fecha de nacimiento y recibieron tres fechas distintas; de nuevo, todas incorrectas. Los investigadores sugieren que las alucinaciones surgen, en parte, debido al proceso de entrenamiento previo, el cual se centra en hacer que los modelos predigan correctamente la siguiente palabra, sin que existan señales de acierto o error asociadas a los datos de entrenamiento.
El problema de los incentivos: las evaluaciones fomentan las conjeturas
Sin embargo, la solución propuesta en el documento se centra menos en el proceso inicial de entrenamiento previo y más en cómo se evalúan los modelos de lenguaje grande. El documento argumenta que los modelos de evaluación actuales no causan las alucinaciones por sí mismos, pero «establecen los incentivos equivocados». Los investigadores comparan estas evaluaciones con un tipo de examen de opción múltiple donde adivinar al azar tiene sentido, ya que «puedes tener suerte y acertar», mientras que dejar la pregunta en blanco «garantiza un cero».
La solución propuesta: modificar los modelos de evaluación
Por lo tanto, la solución propuesta consiste en modificar la forma en que se califican estas evaluaciones. OpenAI afirma que las evaluaciones de los modelos deben «penalizar los errores seguros más que la incertidumbre, y otorgar crédito parcial por las expresiones adecuadas de incertidumbre». Los investigadores argumentan que no basta con introducir «algunas pruebas nuevas conscientes de la incertidumbre de forma paralela». En su lugar, «las evaluaciones ampliamente utilizadas y basadas en la precisión deben actualizarse para que su sistema de puntuación desincentive las conjeturas».
Más allá del entrenamiento previo
Este enfoque es interesante porque desplaza el foco de atención, pasando de intentar «arreglar» el modelo durante el entrenamiento a cambiar el entorno en el que se evalúa. Si las principales tablas de clasificación premian las conjeturas afortunadas, los modelos seguirán aprendiendo a adivinar. Al cambiar las reglas del juego, OpenAI espera incentivar el desarrollo de modelos más cautelosos y honestos.
Implicaciones para la industria
Si este enfoque se adopta de forma generalizada, podría suponer un cambio significativo en la forma en que se miden y comparan los modelos de inteligencia artificial. En lugar de centrarse únicamente en métricas de precisión bruta, la industria podría empezar a evaluar los modelos en función de su capacidad para reconocer cuándo no saben algo. Esto podría dar lugar a chatbots más fiables y seguros, con menos probabilidades de engañar a los usuarios con información incorrecta pero de aspecto convincente.
Conclusión: Hacia una inteligencia artificial más honesta
El artículo de investigación de OpenAI ofrece una nueva perspectiva sobre el persistente problema de las alucinaciones. Al señalar que unos malos incentivos en el proceso de evaluación pueden ser una parte importante del problema, abre una nueva vía potencial de mejora. Construir una inteligencia artificial capaz de decir «no sé» con seguridad puede ser tan importante como construir una inteligencia artificial capaz de responder a nuestras preguntas.
