Transformateur à Boucle Parallèle pour une Mise à l'Échelle Efficace des Calculs en Phase de Test

papers.abstract

Les modèles de langage de grande taille (LLM) sont puissants, mais souvent trop lents et coûteux pour une utilisation en inférence dans des scénarios réels. Les transformeurs à boucle économisent des paramètres en réutilisant les mêmes poids pour plusieurs étapes de calcul, ou "boucles". Cependant, cette approche présente un défaut majeur : les boucles s'exécutent les unes après les autres, ce qui entraîne une augmentation de la latence d'inférence et des besoins en mémoire avec chaque boucle ajoutée. Cela les rend peu pratiques pour les applications rapides. Pour résoudre ce problème, nous présentons le transformeur à boucles parallèles (PLT). PLT est une nouvelle architecture qui offre les avantages en performance d'un modèle profond et bouclé, mais avec la faible latence d'un modèle standard non bouclé. PLT fonctionne grâce à deux techniques clés. Premièrement, le parallélisme inter-boucles (CLP) brise la dépendance séquentielle en calculant différentes boucles pour différents jetons simultanément, le tout en une seule passe. Deuxièmement, pour éviter que les coûts mémoire n'augmentent, nous utilisons une stratégie d'amélioration efficace de la représentation. Cette méthode partage la mémoire (cache KV) de la première boucle avec toutes les autres boucles. Elle utilise ensuite une attention à fenêtre glissante et à porte (G-SWA) pour combiner cette information globale partagée avec des informations locales, maintenant ainsi une haute précision. Nos expériences montrent que PLT atteint la haute précision d'un modèle bouclé traditionnel, mais avec pratiquement aucune latence ou coût mémoire supplémentaire par rapport à un transformeur standard.

English

Large Language Models (LLMs) are powerful but often too slow and costly for real-world use during inference. Looped transformers save on parameters by reusing the same weights for multiple computational steps, or "loops." However, this approach has a major flaw: the loops run one after another, causing inference latency and memory requirements to increase with each added loop. This makes them impractical for fast applications. To solve this problem, we introduce the Parallel Loop Transformer (PLT). PLT is a new architecture that delivers the performance benefits of a deep, looped model but with the low latency of a standard, non-looped model. PLT works using two key techniques. First, Cross-Loop Parallelism (CLP) breaks the sequential dependency by computing different loops for different tokens at the same time, all within a single pass. Second, to prevent memory costs from growing, we use an Efficient Representation Enhancement strategy. This method shares the memory (KV cache) from the first loop with all other loops. It then uses a Gated Sliding-Window Attention (G-SWA) to combine this shared global information with local information, maintaining high accuracy. Our experiments show that PLT achieves the high accuracy of a traditional looped model but with almost no extra latency or memory cost compared to a standard transformer.

Transformateur à Boucle Parallèle pour une Mise à l'Échelle Efficace des Calculs en Phase de Test

Parallel Loop Transformer for Efficient Test-Time Computation Scaling

papers.abstract

Support