River-LLM: Modelo de Lenguaje Grande con Salida Continua Basada en Compartición KV
River-LLM: Large Language Model Seamless Exit Based on KV Share
April 20, 2026
Autores: Yingtao Shen, An Zou
cs.AI
Resumen
Los Modelos de Lenguaje Grandes (LLM) han demostrado un rendimiento excepcional en diversos dominios, pero están cada vez más limitados por una alta latencia de inferencia. La Salida Temprana ha surgido como una solución prometedora para acelerar la inferencia al evitar dinámicamente capas redundantes. Sin embargo, en arquitecturas de solo decodificador, la eficiencia de la Salida Temprana se ve severamente limitada por el problema de la Ausencia de Caché KV, donde las capas omitidas no pueden proporcionar los estados históricos necesarios para los tokens subsiguientes. Las soluciones existentes, como el recálculo o el enmascaramiento, introducen una sobrecarga de latencia significativa o incurren en una severa pérdida de precisión, sin lograr cerrar la brecha entre la reducción teórica de capas y la aceleración práctica en tiempo real. En este artículo, proponemos River-LLM, un marco libre de entrenamiento que permite una Salida Temprana a nivel de token sin interrupciones. River-LLM introduce un ligero "Río de Salida" de KV Compartido que permite que la caché KV faltante del modelo principal se genere y preserve naturalmente durante el proceso de salida, eliminando la necesidad de costosas operaciones de recuperación. Además, utilizamos la similitud de transición de estado dentro de los bloques decodificadores para predecir errores acumulativos de KV y guiar decisiones de salida precisas. Experimentos exhaustivos en tareas de razonamiento matemático y generación de código demuestran que River-LLM logra una aceleración práctica de 1.71 a 2.16 veces, manteniendo una alta calidad en la generación.
English
Large Language Models (LLMs) have demonstrated exceptional performance across diverse domains but are increasingly constrained by high inference latency. Early Exit has emerged as a promising solution to accelerate inference by dynamically bypassing redundant layers. However, in decoder-only architectures, the efficiency of Early Exit is severely bottlenecked by the KV Cache Absence problem, where skipped layers fail to provide the necessary historical states for subsequent tokens. Existing solutions, such as recomputation or masking, either introduce significant latency overhead or incur severe precision loss, failing to bridge the gap between theoretical layer reduction and practical wall-clock speedup. In this paper, we propose River-LLM, a training-free framework that enables seamless token-level Early Exit. River-LLM introduces a lightweight KV-Shared Exit River that allows the backbone's missing KV cache to be naturally generated and preserved during the exit process, eliminating the need for costly recovery operations. Furthermore, we utilize state transition similarity within decoder blocks to predict cumulative KV errors and guide precise exit decisions. Extensive experiments on mathematical reasoning and code generation tasks demonstrate that River-LLM achieves 1.71 to 2.16 times of practical speedup while maintaining high generation quality.