Transformador de Bucle Paralelo para un Escalado Eficiente de la Computación en Tiempo de Prueba

Resumen

Los Modelos de Lenguaje Grandes (LLM) son potentes, pero a menudo demasiado lentos y costosos para su uso práctico durante la inferencia. Los transformadores con bucles ahorran parámetros reutilizando los mismos pesos para múltiples pasos computacionales o "bucles". Sin embargo, este enfoque tiene un defecto importante: los bucles se ejecutan uno tras otro, lo que provoca que la latencia de inferencia y los requisitos de memoria aumenten con cada bucle añadido. Esto los hace impracticables para aplicaciones rápidas. Para resolver este problema, presentamos el Transformador de Bucle Paralelo (PLT). PLT es una nueva arquitectura que ofrece los beneficios de rendimiento de un modelo profundo con bucles, pero con la baja latencia de un modelo estándar sin bucles. PLT funciona mediante dos técnicas clave. Primero, el Paralelismo de Bucles Cruzados (CLP) rompe la dependencia secuencial al calcular diferentes bucles para diferentes tokens al mismo tiempo, todo dentro de una sola pasada. En segundo lugar, para evitar que los costos de memoria crezcan, utilizamos una estrategia de Mejora Eficiente de la Representación. Este método comparte la memoria (caché KV) del primer bucle con todos los demás bucles. Luego utiliza una Atención por Ventana Deslizante con Puertao (G-SWA) para combinar esta información global compartida con información local, manteniendo una alta precisión. Nuestros experimentos muestran que PLT logra la alta precisión de un modelo con bucles tradicional, pero con casi ninguna latencia adicional o costo de memoria en comparación con un transformador estándar.

English

Large Language Models (LLMs) are powerful but often too slow and costly for real-world use during inference. Looped transformers save on parameters by reusing the same weights for multiple computational steps, or "loops." However, this approach has a major flaw: the loops run one after another, causing inference latency and memory requirements to increase with each added loop. This makes them impractical for fast applications. To solve this problem, we introduce the Parallel Loop Transformer (PLT). PLT is a new architecture that delivers the performance benefits of a deep, looped model but with the low latency of a standard, non-looped model. PLT works using two key techniques. First, Cross-Loop Parallelism (CLP) breaks the sequential dependency by computing different loops for different tokens at the same time, all within a single pass. Second, to prevent memory costs from growing, we use an Efficient Representation Enhancement strategy. This method shares the memory (KV cache) from the first loop with all other loops. It then uses a Gated Sliding-Window Attention (G-SWA) to combine this shared global information with local information, maintaining high accuracy. Our experiments show that PLT achieves the high accuracy of a traditional looped model but with almost no extra latency or memory cost compared to a standard transformer.

Transformador de Bucle Paralelo para un Escalado Eficiente de la Computación en Tiempo de Prueba

Parallel Loop Transformer for Efficient Test-Time Computation Scaling

Resumen

Support