La división de investigación de Google anunció el lanzamiento de un nuevo e innovador algoritmo de compresión llamado «TurboQuant», que representa un avance cualitativo en las tecnologías de aceleración para grandes modelos de lenguaje (LLM). Este algoritmo destaca por su capacidad superior para reducir el espacio consumido por la memoria caché de claves y valores —conocida técnicamente en el ámbito de los modelos lingüísticos— en al menos 6 veces. Y lo que es más importante, esta compresión masiva se combina con una aceleración de las operaciones de cálculo de atención de hasta 8 veces, todo ello sin necesidad de reentrenar el modelo base ni de realizar ningún proceso de ajuste fino, lo que lo convierte en una herramienta lista para su aplicación inmediata.
Superar el cuello de botella en la memoria de los modelos lingüísticos
Con el desarrollo de los grandes modelos de lenguaje y el aumento de su capacidad para procesar textos más largos e información más compleja, el problema del consumo de memoria se ha convertido en un obstáculo importante para los desarrolladores. Estos modelos dependen de almacenar el contexto de las conversaciones y la información previa en la memoria caché de claves y valores; a medida que aumenta el volumen de datos introducidos, esta memoria se expande enormemente y ralentiza los procesos de inferencia y generación de textos. El algoritmo «TurboQuant» llega para ofrecer una solución radical a este problema, ya que ha sido diseñado específicamente para gestionar los altos requisitos de memoria, abriendo nuevos horizontes para las aplicaciones de inteligencia artificial que requieren un procesamiento rápido y eficiente en entornos de producción reales.
Un enfoque dual inspirado en la teoría de Shannon
El desarrollo de este algoritmo revolucionario se debe a un equipo de destacados investigadores formado por Amir Zandieh, Majid Daliri, Majid Hadian y Wahab Mirrokni. Para construir el algoritmo, el equipo se basó en un enfoque avanzado de dos fases inspirado en la teoría de la codificación de fuentes del científico Claude Shannon. La primera fase, denominada por los investigadores «PolarQuant», se centra en rotar aleatoriamente los vectores de entrada y, a continuación, reescribir los pares de coordenadas en forma de longitud y ángulo. Este método permite generar una representación compacta de los datos que evita la dependencia de las constantes precisas de cada bloque, las cuales suelen provocar la inflación del tamaño de almacenamiento en las operaciones de cuantización tradicionales.
La segunda fase del algoritmo se basa en la aplicación de una transformación matemática conocida como «transformación de Johnson-Lindenstrauss cuantitativa» en un sistema de 1 bit sobre el error residual de la primera fase. Este paso preciso corrige el sesgo oculto en el producto interno, el cual podría degradar la precisión de las puntuaciones de atención en los modelos lingüísticos si se deja sin tratar. Uno de los resúmenes técnicos del proyecto resumió magistralmente este proceso al afirmar: «La primera fase almacena la forma básica de la memoria, mientras que la segunda fase almacena una nota de corrección muy pequeña que es casi gratuita».
Rendimiento excepcional y total compatibilidad
Los experimentos demostraron que la combinación de ambas fases reduce la compresión de la memoria caché a solo unos 3 bits por canal. El informe de investigación señaló que se logró una «neutralidad absoluta en la calidad» en el nivel de 3.5 bits, mientras que solo se observaron descensos muy leves e insignificantes en el nivel de 2.5 bits. Durante las pruebas de laboratorio realizadas utilizando potentes unidades de procesamiento gráfico (GPU) Nvidia H100, la versión de 4 bits del algoritmo logró una aceleración de 8 veces en el cálculo de las puntuaciones de atención en comparación con la versión estándar sin comprimir de 32 bits.
La eficiencia del algoritmo se verificó utilizando rigurosos estándares de prueba para textos largos, como «LongBench» y «ZeroScrolls», y se aplicó con éxito en modelos avanzados como «Gemma» y «Mistral». Las ventajas de esta técnica no se limitan únicamente a la inferencia en los modelos de lenguaje, sino que también superan a las técnicas de cuantización actuales en tareas de búsqueda de vecinos más cercanos, mejorando las tasas de recuperación y reduciendo el tiempo de indexación a casi cero.
Preparación operativa y visión de futuro
Dado que este algoritmo ignora la naturaleza de los datos y no requiere ningún ajuste personalizado para conjuntos de datos específicos, puede integrarse como una capa lista para usar dentro de los modelos existentes con total facilidad. Google Research confirmó en su anuncio que este método es ideal para las cargas de trabajo de inferencia en entornos de producción en vivo, así como para tareas de búsqueda semántica a gran escala; ámbitos en los que el tráfico de la memoria caché se ha convertido en el principal cuello de botella.
Cabe destacar que el documento de investigación sobre esta innovación se publicó por primera vez en la plataforma arXiv en abril de 2025, y está previsto que se presente formalmente y se expongan sus detalles técnicos en profundidad durante la Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR) en 2026, lo que subraya su importancia y su posición en la configuración del futuro de la infraestructura de inteligencia artificial.
Preguntas frecuentes
¿Qué es el algoritmo TurboQuant lanzado por Google?
Es un algoritmo de compresión innovador que no requiere entrenamiento previo, diseñado para reducir el consumo de memoria en los grandes modelos de lenguaje en seis veces y acelerar los cálculos de atención en ocho veces sin necesidad de un ajuste fino de los modelos base.
¿Cómo funciona este algoritmo desde el punto de vista técnico?
Se basa en un enfoque de dos fases inspirado en la teoría de Shannon: la primera fase transforma los datos en longitud y ángulo para reducir el espacio de almacenamiento, y la segunda fase utiliza una transformación matemática de 1 bit para corregir cualquier posible error en los cálculos de los modelos.
¿Afecta el nuevo algoritmo a la calidad de los modelos de lenguaje?
Las pruebas demostraron que el algoritmo mantiene una neutralidad absoluta en la calidad en el nivel de 3.5 bits, con un descenso extremadamente leve e insignificante al reducir la compresión a 2.5 bits, lo que significa que preserva la eficiencia del modelo de forma casi íntegra.
¿Cuáles son el hardware y los modelos en los que se ha probado el algoritmo?
Se probó en unidades de procesamiento gráfico Nvidia H100 y se verificó su eficiencia utilizando destacados modelos lingüísticos como Gemma y Mistral dentro de estándares dedicados a textos largos.
