River-LLM : Modèle de Langage de Grande Taille à Sortie Fluide Basée sur le Partage KV
River-LLM: Large Language Model Seamless Exit Based on KV Share
April 20, 2026
Auteurs: Yingtao Shen, An Zou
cs.AI
Résumé
Les modèles de langage de grande taille (LLM) ont démontré des performances exceptionnelles dans divers domaines, mais sont de plus en plus limités par une latence d'inférence élevée. La sortie précoce (Early Exit) est apparue comme une solution prometteuse pour accélérer l'inférence en contournant dynamiquement les couches redondantes. Cependant, dans les architectures à décodeur uniquement, l'efficacité de la sortie précoce est sévèrement entravée par le problème d'absence du cache KV (KV Cache Absence), où les couches sautées ne fournissent pas les états historiques nécessaires aux tokens suivants. Les solutions existantes, telles que le recalcul ou le masquage, introduisent soit une surcharge de latence significative, soit entraînent une perte de précision sévère, ne parvenant pas à combler l'écart entre la réduction théorique des couches et l'accélération pratique mesurée. Dans cet article, nous proposons River-LLM, un cadre sans apprentissage qui permet une sortie précoce transparente au niveau du token. River-LLM introduit un léger "Rivière de Sortie à Cache KV Partagé" (KV-Shared Exit River) qui permet au cache KV manquant du modèle principal d'être naturellement généré et préservé pendant le processus de sortie, éliminant le besoin d'opérations de récupération coûteuses. De plus, nous utilisons la similarité des transitions d'état dans les blocs du décodeur pour prédire les erreurs cumulatives du cache KV et guider les décisions de sortie précises. Des expériences approfondies sur des tâches de raisonnement mathématique et de génération de code démontrent que River-LLM atteint une accélération pratique de 1,71 à 2,16 fois tout en maintenant une haute qualité de génération.
English
Large Language Models (LLMs) have demonstrated exceptional performance across diverse domains but are increasingly constrained by high inference latency. Early Exit has emerged as a promising solution to accelerate inference by dynamically bypassing redundant layers. However, in decoder-only architectures, the efficiency of Early Exit is severely bottlenecked by the KV Cache Absence problem, where skipped layers fail to provide the necessary historical states for subsequent tokens. Existing solutions, such as recomputation or masking, either introduce significant latency overhead or incur severe precision loss, failing to bridge the gap between theoretical layer reduction and practical wall-clock speedup. In this paper, we propose River-LLM, a training-free framework that enables seamless token-level Early Exit. River-LLM introduces a lightweight KV-Shared Exit River that allows the backbone's missing KV cache to be naturally generated and preserved during the exit process, eliminating the need for costly recovery operations. Furthermore, we utilize state transition similarity within decoder blocks to predict cumulative KV errors and guide precise exit decisions. Extensive experiments on mathematical reasoning and code generation tasks demonstrate that River-LLM achieves 1.71 to 2.16 times of practical speedup while maintaining high generation quality.