Parallelle Lus Transformer voor Efficiënte Schaling van Testtijdberekeningen

Samenvatting

Grote Taalmodellen (LLM's) zijn krachtig, maar voor praktijktoepassingen tijdens inferentie vaak te traag en kostbaar. Gelusde transformers besparen op parameters door dezelfde gewichten te hergebruiken voor meerdere rekenstappen, of "lussen". Deze aanpak heeft echter een groot nadeel: de lussen worden na elkaar uitgevoerd, waardoor de inferentielatentie en het geheugengebruik toenemen met elke toegevoegde lus. Dit maakt ze onpraktisch voor snelle toepassingen. Om dit probleem op te lossen, introduceren we de Parallelle Lus Transformer (PLT). PLT is een nieuwe architectuur die de prestatievoordelen biedt van een diep, gelust model, maar met de lage latentie van een standaard, niet-gelust model. PLT werkt met twee kerntechnieken. Ten eerste verbreekt Parallelisme tussen Lussen (Cross-Loop Parallelism, CLP) de sequentiële afhankelijkheid door verschillende lussen voor verschillende tokens gelijktijdig te berekenen, allemaal binnen één enkele doorloop. Ten tweede gebruiken we een Strategie voor Efficiënte Representatieverbetering om te voorkomen dat de geheugenkosten oplopen. Deze methode deelt het geheugen (KV-cache) van de eerste lus met alle andere lussen. Vervolgens gebruikt ze een Geglijd Aandachtsvenster met Poort (Gated Sliding-Window Attention, G-SWA) om deze gedeelde globale informatie te combineren met lokale informatie, waarbij een hoge nauwkeurigheid behouden blijft. Onze experimenten tonen aan dat PLT de hoge nauwkeurigheid van een traditioneel gelust model bereikt, maar met vrijwel geen extra latentie of geheugenkosten in vergelijking met een standaard transformer.

English

Large Language Models (LLMs) are powerful but often too slow and costly for real-world use during inference. Looped transformers save on parameters by reusing the same weights for multiple computational steps, or "loops." However, this approach has a major flaw: the loops run one after another, causing inference latency and memory requirements to increase with each added loop. This makes them impractical for fast applications. To solve this problem, we introduce the Parallel Loop Transformer (PLT). PLT is a new architecture that delivers the performance benefits of a deep, looped model but with the low latency of a standard, non-looped model. PLT works using two key techniques. First, Cross-Loop Parallelism (CLP) breaks the sequential dependency by computing different loops for different tokens at the same time, all within a single pass. Second, to prevent memory costs from growing, we use an Efficient Representation Enhancement strategy. This method shares the memory (KV cache) from the first loop with all other loops. It then uses a Gated Sliding-Window Attention (G-SWA) to combine this shared global information with local information, maintaining high accuracy. Our experiments show that PLT achieves the high accuracy of a traditional looped model but with almost no extra latency or memory cost compared to a standard transformer.

Parallelle Lus Transformer voor Efficiënte Schaling van Testtijdberekeningen

Parallel Loop Transformer for Efficient Test-Time Computation Scaling

Samenvatting

Support