River-LLM: Nahtloses Aussteigen großer Sprachmodelle auf Basis von KV-Sharing
River-LLM: Large Language Model Seamless Exit Based on KV Share
April 20, 2026
Autoren: Yingtao Shen, An Zou
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) haben in verschiedenen Bereichen außergewöhnliche Leistungen gezeigt, werden jedoch zunehmend durch hohe Inferenzlatenz eingeschränkt. Early Exit hat sich als vielversprechende Lösung zur Beschleunigung der Inferenz erwiesen, indem redundante Schichten dynamisch umgangen werden. In decoder-only-Architekturen wird die Effizienz von Early Exit jedoch stark durch das KV-Cache-Absence-Problem eingeschränkt, bei dem übersprungene Schichten die notwendigen historischen Zustände für nachfolgende Token nicht bereitstellen können. Bestehende Lösungen wie Neubrechnung oder Maskierung führen entweder zu erheblichem Latenzoverhead oder verursachen starken Präzisionsverlust und schließen so die Lücke zwischen theoretischer Schichtenreduzierung und praktischer Beschleunigung der Echtzeit nicht. In diesem Artikel stellen wir River-LLM vor, ein trainingsfreies Framework, das nahtloses token-level Early Exit ermöglicht. River-LLM führt einen leichtgewichtigen KV-Shared Exit River ein, der es ermöglicht, dass der fehlende KV-Cache des Backbones während des Exit-Prozesses natürlich generiert und erhalten wird, wodurch kostspielige Wiederherstellungsoperationen entfallen. Darüber hinaus nutzen wir die Ähnlichkeit von Zustandsübergängen innerhalb von Decoder-Blöcken, um kumulative KV-Fehler vorherzusagen und präzise Exit-Entscheidungen zu steuern. Umfangreiche Experimente zu mathematischem Reasoning und Code-Generierung zeigen, dass River-LLM eine 1,71- bis 2,16-fache praktische Beschleunigung erreicht, während eine hohe Generierungsqualität erhalten bleibt.
English
Large Language Models (LLMs) have demonstrated exceptional performance across diverse domains but are increasingly constrained by high inference latency. Early Exit has emerged as a promising solution to accelerate inference by dynamically bypassing redundant layers. However, in decoder-only architectures, the efficiency of Early Exit is severely bottlenecked by the KV Cache Absence problem, where skipped layers fail to provide the necessary historical states for subsequent tokens. Existing solutions, such as recomputation or masking, either introduce significant latency overhead or incur severe precision loss, failing to bridge the gap between theoretical layer reduction and practical wall-clock speedup. In this paper, we propose River-LLM, a training-free framework that enables seamless token-level Early Exit. River-LLM introduces a lightweight KV-Shared Exit River that allows the backbone's missing KV cache to be naturally generated and preserved during the exit process, eliminating the need for costly recovery operations. Furthermore, we utilize state transition similarity within decoder blocks to predict cumulative KV errors and guide precise exit decisions. Extensive experiments on mathematical reasoning and code generation tasks demonstrate that River-LLM achieves 1.71 to 2.16 times of practical speedup while maintaining high generation quality.