River-LLM: Naadloze Afsluiting van Groot Taalmodel Gebaseerd op KV-Deling
River-LLM: Large Language Model Seamless Exit Based on KV Share
April 20, 2026
Auteurs: Yingtao Shen, An Zou
cs.AI
Samenvatting
Grote Taalmodellen (LLM's) hebben uitzonderlijke prestaties getoond in diverse domeinen, maar worden steeds meer beperkt door hoge inferentielatentie. Vroegtijdig Afsluiten (Early Exit) is naar voren gekomen als een veelbelovende oplossing om inferentie te versnellen door dynamisch redundante lagen over te slaan. In decoder-only architecturen wordt de efficiëntie van Vroegtijdig Afsluiten echter ernstig beperkt door het KV-cache-afwezigheidsprobleem, waarbij overgeslagen lagen de benodigde historische staten voor volgende tokens niet kunnen leveren. Bestaande oplossingen, zoals herberekening of masking, introduceren ofwel aanzienlijke latentie-overhead of lijden onder ernstig precisieverlies, waardoor de kloof tussen theoretische laagreductie en praktische snelheidswinst niet wordt overbrugd. In dit artikel stellen we River-LLM voor, een trainingsvrij raamwerk dat naadloos Vroegtijdig Afsluiten op tokenniveau mogelijk maakt. River-LLM introduceert een lichtgewicht KV-gedeelde 'Exit River' die ervoor zorgt dat de ontbrekende KV-cache van de backbone tijdens het afsluitproces natuurlijk wordt gegenereerd en behouden, waardoor dure hersteloperaties overbodig worden. Verder gebruiken we de gelijkenis van staatsovergangen binnen decoderblokken om cumulatieve KV-fouten te voorspellen en precieze afsluitbeslissingen te sturen. Uitgebreide experimenten met wiskundig redeneren en codegeneratietaken tonen aan dat River-LLM een praktische snelheidswinst van 1,71 tot 2,16 keer bereikt, waarbij de hoge generatiekwaliteit behouden blijft.
English
Large Language Models (LLMs) have demonstrated exceptional performance across diverse domains but are increasingly constrained by high inference latency. Early Exit has emerged as a promising solution to accelerate inference by dynamically bypassing redundant layers. However, in decoder-only architectures, the efficiency of Early Exit is severely bottlenecked by the KV Cache Absence problem, where skipped layers fail to provide the necessary historical states for subsequent tokens. Existing solutions, such as recomputation or masking, either introduce significant latency overhead or incur severe precision loss, failing to bridge the gap between theoretical layer reduction and practical wall-clock speedup. In this paper, we propose River-LLM, a training-free framework that enables seamless token-level Early Exit. River-LLM introduces a lightweight KV-Shared Exit River that allows the backbone's missing KV cache to be naturally generated and preserved during the exit process, eliminating the need for costly recovery operations. Furthermore, we utilize state transition similarity within decoder blocks to predict cumulative KV errors and guide precise exit decisions. Extensive experiments on mathematical reasoning and code generation tasks demonstrate that River-LLM achieves 1.71 to 2.16 times of practical speedup while maintaining high generation quality.