Google ha publicado como código abierto la biblioteca TPU Raiden para transferir memoria caché KV temporal entre chips durante la ejecución de grandes modelos de lenguaje, en un movimiento que amplía las herramientas del ecosistema TPU más allá de su ámbito cerrado.
Contenido del artículo
- ¿Qué es la biblioteca TPU Raiden?
- ¿Cómo gestiona Raiden las fases de prellenado y decodificación?
- Transferencia entre chips y descarga de memoria
- ¿Por qué abre Google estas herramientas ahora?
- Carrera abierta por la arquitectura de inferencia
- Preguntas frecuentes
¿Qué es la biblioteca TPU Raiden?
Google ha publicado la biblioteca TPU Raiden en GitHub bajo la licencia Apache 2.0. La biblioteca opera en una capa del ecosistema de inferencia similar a la que cubre la biblioteca NIXL de NVIDIA, ya que ofrece mecanismos para transferir la KV Cache entre las unidades de procesamiento responsables de las fases de prellenado y decodificación, junto con herramientas para volcar datos de memoria temporal.
La plataforma SemiAnalysis fue una de las primeras en llamar la atención sobre el lanzamiento, considerándolo una clara señal de la disposición de Google para poner a disposición componentes de infraestructura que durante mucho tiempo estuvieron vinculados a su ecosistema de unidades TPU.
¿Cómo gestiona Raiden las fases de prellenado y decodificación?
El proceso de inferencia a gran escala suele dividirse en dos fases. La fase Prefill procesa la solicitud o el texto introducido, mientras que la fase Decode se encarga de generar los tokens uno por uno.
Ejecutar ambas fases en el mismo chip puede ser menos eficiente, por lo que los sistemas de producción las separan y las distribuyen en grupos independientes de hardware. Tras finalizar la fase de prellenado, se forma la KV Cache, que representa la memoria operativa del contexto procesado por el modelo, y debe transferirse rápidamente a los chips responsables de la generación.
Raiden se encarga de gestionar este proceso de transferencia con el fin de facilitar la ejecución de la inferencia desagregada a través de unidades TPU.
Transferencia entre chips y descarga de memoria
Según la documentación del repositorio, Raiden incluye módulos para la transferencia directa entre chips dentro del mismo dispositivo y la transferencia entre máquinas virtuales a través de la red, además de la descarga de bloques de memoria KV desde la memoria TPU a la memoria RAM del host.
La biblioteca también ofrece un modo de memoria compartida que permite que los datos temporales permanezcan en la memoria DRAM incluso al reiniciar el servidor del modelo, lo cual resulta útil durante las actualizaciones operativas periódicas.
No obstante, Google subraya que el proyecto sigue en fase de desarrollo activo y actualmente no está destinado al uso general en entornos de producción.
¿Por qué abre Google estas herramientas ahora?
Google no vende unidades TPU como productos independientes, pero la base de usuarios de sus chips personalizados se ha expandido. Anthropic ha obtenido acceso a un millón de unidades TPU, y OpenAI también ha comenzado a utilizar los chips de Google en partes de sus operaciones.
Estos clientes necesitan herramientas de software que rivalicen con el ecosistema desarrollado en torno a las unidades de NVIDIA. Marcos de trabajo como vLLM y SGLang están estrechamente vinculados a la biblioteca NIXL, por lo que integraciones similares con Raiden podrían ayudar en el futuro a reducir el esfuerzo necesario para trasladar ciertas cargas de inferencia a las unidades TPU.
Carrera abierta por la arquitectura de inferencia
El lanzamiento de Raiden coincide con movimientos similares por parte de NVIDIA. El 4 de agosto, la compañía anunció la apertura de las interfaces cuFile y de su ecosistema de almacenamiento a través de una nueva fundación multi-proveedor en GitHub, incluyendo a Google, Intel y Meta entre los administradores iniciales.
Estos pasos reflejan una tendencia más amplia hacia la apertura de componentes de la infraestructura de inferencia que los proveedores mantenían anteriormente dentro de sus ecosistemas cerrados. Para Google, las herramientas abiertas pueden reducir las barreras para la adopción de TPU en cargas de producción, en lugar de elegir el ecosistema de NVIDIA simplemente porque sus herramientas están más extendidas y documentadas en código abierto.
En contraste, NVIDIA subraya que sus unidades GPU siguen siendo avanzadas y capaces de ejecutar diversos modelos de inteligencia artificial en entornos informáticos. El grado de apertura del ecosistema de Google y su impacto en esta superioridad seguirá siendo una cuestión fundamental para las organizaciones que seleccionen una arquitectura para ejecutar inferencia a gran escala.
Preguntas frecuentes
¿Cuál es la función de la biblioteca TPU Raiden?
Transfiere la memoria caché KV temporal entre las unidades TPU responsables de las fases de prellenado y decodificación, y también admite la descarga de datos a la memoria del host.
¿Es Raiden un sustituto directo de la biblioteca NVIDIA NIXL?
Ambas bibliotecas operan en una capa similar del ecosistema de inferencia, pero Raiden está orientada a las unidades TPU y todavía se encuentra en fase de desarrollo activo.
¿Se puede utilizar Raiden en sistemas de producción actualmente?
Google no recomienda actualmente su uso general en entornos de producción, ya que el proyecto sigue en desarrollo.
¿Cuál es la licencia de la biblioteca Raiden?
Google ha lanzado la biblioteca como código abierto bajo la licencia Apache 2.0.
