Paralleler Schleifen-Transformer für effiziente Skalierung der Berechnungen zur Testzeit

Parallel Loop Transformer for Efficient Test-Time Computation Scaling

October 28, 2025

papers.authors: Bohong Wu, Mengzhao Chen, Xiang Luo, Shen Yan, Qifan Yu, Fan Xia, Tianqi Zhang, Hongrui Zhan, Zheng Zhong, Xun Zhou, Siyuan Qiao, Xingyan Bin

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) sind zwar leistungsstark, aber für den praktischen Einsatz während der Inferenz oft zu langsam und zu teuer. Loop-Transformer sparen Parameter, indem sie dieselben Gewichte für mehrere Rechenschritte oder "Loops" wiederverwenden. Dieser Ansatz hat jedoch einen großen Nachteil: Die Loops werden nacheinander ausgeführt, wodurch sich die Inferenzlatenz und der Speicherbedarf mit jedem zusätzlichen Loop erhöhen. Dies macht sie für Echtzeitanwendungen unpraktisch. Um dieses Problem zu lösen, führen wir den Parallel Loop Transformer (PLT) ein. PLT ist eine neue Architektur, die die Leistungsvorteile eines tiefen, geloopten Modells bietet, jedoch mit der geringen Latenz eines Standard-Transformsers ohne Loops. PLT funktioniert mit zwei Schlüsseltechniken. Erstens: Cross-Loop Parallelism (CLP) bricht die sequentielle Abhängigkeit, indem verschiedene Loops für verschiedene Token gleichzeitig innerhalb eines einzigen Durchlaufs berechnet werden. Zweitens verwenden wir eine Efficient Representation Enhancement-Strategie, um zu verhindern, dass die Speicherkosten ansteigen. Diese Methode teilt den Speicher (KV-Cache) des ersten Loops mit allen anderen Loops. Anschließend wird eine Gated Sliding-Window Attention (G-SWA) verwendet, um diese gemeinsamen globalen Informationen mit lokalen Informationen zu kombinieren und dabei eine hohe Genauigkeit beizubehalten. Unsere Experimente zeigen, dass PLT die hohe Genauigkeit eines traditionellen Loop-Modells erreicht, jedoch mit nahezu keiner zusätzlichen Latenz oder Speicherkosten im Vergleich zu einem Standard-Transformer.

English

Large Language Models (LLMs) are powerful but often too slow and costly for real-world use during inference. Looped transformers save on parameters by reusing the same weights for multiple computational steps, or "loops." However, this approach has a major flaw: the loops run one after another, causing inference latency and memory requirements to increase with each added loop. This makes them impractical for fast applications. To solve this problem, we introduce the Parallel Loop Transformer (PLT). PLT is a new architecture that delivers the performance benefits of a deep, looped model but with the low latency of a standard, non-looped model. PLT works using two key techniques. First, Cross-Loop Parallelism (CLP) breaks the sequential dependency by computing different loops for different tokens at the same time, all within a single pass. Second, to prevent memory costs from growing, we use an Efficient Representation Enhancement strategy. This method shares the memory (KV cache) from the first loop with all other loops. It then uses a Gated Sliding-Window Attention (G-SWA) to combine this shared global information with local information, maintaining high accuracy. Our experiments show that PLT achieves the high accuracy of a traditional looped model but with almost no extra latency or memory cost compared to a standard transformer.