¿Sientes que las respuestas de la inteligencia artificial son repetitivas y aburridas? Unos investigadores han descubierto un método sencillo llamado «muestreo verbalizado» (Verbalized Sampling) para hacer que modelos como GPT-4 y Claude sean drásticamente más creativos y diversos, simplemente añadiendo una frase a tu petición, sin necesidad de reentrenar el modelo.
- El problema de la repetición en la inteligencia artificial
- El fenómeno del «colapso de modo» (Mode Collapse)
- La solución brillante: muestreo verbalizado (VS)
- ¿Cómo funciona este método?
- Rendimiento en el mundo real: resultados impresionantes
- Diversidad ajustable y modelos más grandes
- Consejos prácticos y cómo utilizarlo
- Conclusión: una solución sencilla para un problema grande
- FAQs
El problema de la repetición en la inteligencia artificial
Una de las cosas más fascinantes de los modelos de inteligencia artificial generativa, ya sean grandes modelos de lenguaje (LLM) o generadores de imágenes, es que son «no deterministas». Esto significa que generan sus resultados seleccionando de la distribución de tokens (unidades de información) más probable para completar su respuesta, lo que teóricamente permite una amplia gama de posibles respuestas a una misma pregunta.
Sin embargo, quienes utilizan estos modelos a diario notarán que sus respuestas a veces pueden parecer molestamente repetitivas o similares. Se reciclan los mismos chistes y las peticiones de historias generan tramas parecidas. Incluso las tareas que deberían arrojar múltiples respuestas plausibles tienden a colapsar en apenas unas pocas opciones estereotipadas.
El fenómeno del «colapso de modo» (Mode Collapse)
Este fenómeno, conocido como «colapso de modo» (Mode Collapse), surge durante la alineación posterior al entrenamiento y limita la utilidad de los modelos potentes. Según el equipo de investigación, la causa raíz del colapso de modo radica en la estructura de las preferencias humanas. Las personas tienden a calificar las respuestas más comunes o típicas como mejores, lo que empuja a los grandes modelos de lenguaje hacia opciones «seguras» en lugar de diversas durante el ajuste fino.
La solución brillante: muestreo verbalizado (VS)
Ahora, un equipo de investigadores de la Universidad Northeastern, la Universidad de Stanford y la Universidad de Virginia Occidental ha ideado un método brillantemente sencillo para hacer que los modelos de lenguaje e imagen generen un conjunto diverso de respuestas para casi cualquier petición de usuario mediante la adición de una única frase sencilla:
«Genera 5 respuestas con sus probabilidades correspondientes, extraídas de toda la distribución.»
Este método, llamado «muestreo verbalizado» (Verbalized Sampling o VS), ayuda a modelos como GPT-4, Claude y Gemini a producir resultados más diversos y parecidos a los humanos, sin necesidad de reentrenamiento ni acceso a los parámetros internos.
¿Cómo funciona este método?
El sesgo humano hacia las respuestas típicas no borra el conocimiento fundamental del modelo, sino que simplemente lo suprime. El VS funciona eludiendo esta supresión. En lugar de pedir el resultado individual más probable, invita al modelo a revelar un conjunto de respuestas plausibles y sus probabilidades relativas. Esta petición a nivel de distribución restablece el acceso a la diversidad más rica presente en el modelo de entrenamiento básico. Cuando se le pide de esta manera, el modelo ya no se adhiere a sus resultados más seguros y típicos.
Rendimiento en el mundo real: resultados impresionantes
El equipo de investigación probó el muestreo verbalizado en varios casos de uso comunes:
- Escritura creativa: en la generación de historias, el VS aumentó las puntuaciones de diversidad hasta 2,1 veces en comparación con las peticiones estándar, manteniendo al mismo tiempo la calidad. Una petición de historia produjo escenas de ruptura estereotipadas bajo la orden directa, pero dio lugar a narrativas diversas cuando se solicitó mediante VS.
- Simulación de diálogo: en tareas de diálogo con personajes, el VS permitió a los modelos simular mejor patrones humanos, como la vacilación, la resistencia y el cambio de opinión, en comparación con los métodos básicos.
- Preguntas y respuestas abiertas: al pedir la enumeración de respuestas válidas, los modelos que utilizaban VS generaron respuestas que se correspondían más estrechamente con la diversidad de datos del mundo real, cubriendo un abanico más amplio de respuestas sin sacrificar la precisión fáctica.
- Generación de datos sintéticos: cuando se utilizó para generar problemas matemáticos para entrenar modelos, el VS creó conjuntos de datos más diversos, lo que a su vez mejoró el rendimiento en los puntos de referencia de matemáticas competitivas.
Diversidad ajustable y modelos más grandes
Una de las ventajas notables del VS es su capacidad de ajuste. Los usuarios pueden establecer un umbral de probabilidad en la petición para tomar muestras de las «colas» de la distribución con baja probabilidad. Los umbrales más bajos corresponden a una mayor diversidad. Este ajuste se puede realizar únicamente a través del texto de la petición, sin cambiar ninguna configuración de decodificación como la temperatura (temperature).
Curiosamente, el método escala bien con el tamaño del modelo. Los modelos más grandes mostraron mayores ganancias con el VS en comparación con los más pequeños, lo que sugiere que el VS ayuda a desbloquear más capacidades latentes en los modelos avanzados.
Consejos prácticos y cómo utilizarlo
Si bien el método funciona en los principales grandes modelos de lenguaje, algunos usuarios pueden experimentar inicialmente rechazos o errores. En estos casos, los autores sugieren utilizar la versión de instrucciones del sistema (system prompt).
Por ejemplo, una petición mediante directrices a nivel de sistema como esta mejora la fiabilidad: «Eres un asistente útil. Para cada consulta, genera cinco respuestas dentro de etiquetas separadas, cada una con una probabilidad inferior a 0,10.»
Conclusión: una solución sencilla para un problema grande
El muestreo verbalizado representa una solución práctica en el momento de la inferencia para limitaciones profundas en el comportamiento de los modelos de lenguaje modernos. No requiere reentrenamiento del modelo ni acceso interno. Además, mejora no solo la diversidad de los resultados, sino también su calidad. Para los usuarios y desarrolladores frustrados por la uniformidad en las respuestas de los grandes modelos de lenguaje, la solución puede ser tan simple como cambiar la pregunta.
FAQs
¿Qué es el problema del «colapso de modo» (Mode Collapse) en la inteligencia artificial?
Es un fenómeno en el que los modelos de inteligencia artificial tienden a ofrecer respuestas muy repetitivas y similares, prefiriendo opciones «seguras» y más comunes en lugar de proporcionar un conjunto diverso de respuestas creativas.
¿Qué es el «muestreo verbalizado» (Verbalized Sampling)?
Es una técnica de petición sencilla que le pide a un modelo de inteligencia artificial que genere múltiples respuestas junto con sus probabilidades correspondientes. Esto obliga al modelo a revelar un abanico más amplio de posibles respuestas en lugar de limitarse a la más probable.
¿Cómo puedo utilizar esta técnica?
Simplemente añade una frase como «Genera 5 respuestas con sus probabilidades correspondientes, extraídas de toda la distribución» al final de tu petición cuando interactúes con modelos como ChatGPT, Claude o Gemini.
