Transformer a Ciclo Parallelo per un'Efficiente Scalabilità Computazionale al Momento del Test

Abstract

I Large Language Model (LLM) sono potenti, ma spesso troppo lenti e costosi per un utilizzo pratico nel mondo reale durante l'inferenza. I transformer con loop consentono di risparmiare parametri riutilizzando gli stessi pesi per più passi computazionali, o "loop". Tuttavia, questo approccio presenta un difetto principale: i loop vengono eseguiti uno dopo l'altro, causando un aumento della latenza di inferenza e dei requisiti di memoria con ogni loop aggiuntivo. Ciò li rende impraticabili per applicazioni veloci. Per risolvere questo problema, introduciamo il Parallel Loop Transformer (PLT). PLT è una nuova architettura che offre i vantaggi prestazionali di un modello profondo con loop, ma con la bassa latenza di un modello standard senza loop. PLT funziona utilizzando due tecniche chiave. Innanzitutto, il Parallelismo Incrociato dei Loop (Cross-Loop Parallelism, CLP) rompe la dipendenza sequenziale calcolando loop diversi per token diversi contemporaneamente, tutto all'interno di un singolo passaggio. In secondo luogo, per impedire la crescita dei costi di memoria, utilizziamo una strategia di Miglioramento Efficiente della Rappresentazione. Questo metodo condivide la memoria (cache KV) del primo loop con tutti gli altri loop. Utilizza quindi un'attenzione a finestra scorrevole con gate (Gated Sliding-Window Attention, G-SWA) per combinare queste informazioni globali condivise con le informazioni locali, mantenendo un'elevata accuratezza. I nostri esperimenti mostrano che PLT raggiunge l'elevata accuratezza di un modello tradizionale con loop, ma con quasi nessun costo aggiuntivo di latenza o memoria rispetto a un transformer standard.

English

Large Language Models (LLMs) are powerful but often too slow and costly for real-world use during inference. Looped transformers save on parameters by reusing the same weights for multiple computational steps, or "loops." However, this approach has a major flaw: the loops run one after another, causing inference latency and memory requirements to increase with each added loop. This makes them impractical for fast applications. To solve this problem, we introduce the Parallel Loop Transformer (PLT). PLT is a new architecture that delivers the performance benefits of a deep, looped model but with the low latency of a standard, non-looped model. PLT works using two key techniques. First, Cross-Loop Parallelism (CLP) breaks the sequential dependency by computing different loops for different tokens at the same time, all within a single pass. Second, to prevent memory costs from growing, we use an Efficient Representation Enhancement strategy. This method shares the memory (KV cache) from the first loop with all other loops. It then uses a Gated Sliding-Window Attention (G-SWA) to combine this shared global information with local information, maintaining high accuracy. Our experiments show that PLT achieves the high accuracy of a traditional looped model but with almost no extra latency or memory cost compared to a standard transformer.

Transformer a Ciclo Parallelo per un'Efficiente Scalabilità Computazionale al Momento del Test

Parallel Loop Transformer for Efficient Test-Time Computation Scaling

Abstract

Support