River-LLM: Крупная языковая модель с плавным выходом на основе разделения ключей-значений (KV Share)

River-LLM: Large Language Model Seamless Exit Based on KV Share

April 20, 2026

Авторы: Yingtao Shen, An Zou

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали выдающуюся производительность в различных областях, но всё чаще сталкиваются с ограничениями из-за высокой задержки вывода. Ранний выход (Early Exit) стал перспективным решением для ускорения вывода за счёт динамического пропуска избыточных слоёв. Однако в архитектурах, использующих только декодер, эффективность раннего выхода сильно ограничивается проблемой отсутствия KV-кэша (KV Cache Absence), когда пропущенные слои не предоставляют необходимые исторические состояния для последующих токенов. Существующие решения, такие как перевычисление или маскирование, либо вносят значительные задержки, либо приводят к серьёзной потере точности, не позволяя преодолеть разрыв между теоретическим сокращением слоёв и практическим ускорением в реальном времени. В данной статье мы предлагаем River-LLM — беспарадигменную инфраструктуру, обеспечивающую бесшовный ранний выход на уровне токенов. River-LLM вводит лёгкий KV-Shared Exit River, который позволяет естественным образом генерировать и сохранять отсутствующий KV-кэш базовой модели в процессе выхода, устраняя необходимость в затратных операциях восстановления. Кроме того, мы используем схожесть переходов состояний внутри блоков декодера для прогнозирования кумулятивных KV-ошибок и принятия точных решений о выходе. Многочисленные эксперименты на задачах математических рассуждений и генерации кода показывают, что River-LLM обеспечивает практическое ускорение в 1.71–2.16 раза при сохранении высокого качества генерации.

English

Large Language Models (LLMs) have demonstrated exceptional performance across diverse domains but are increasingly constrained by high inference latency. Early Exit has emerged as a promising solution to accelerate inference by dynamically bypassing redundant layers. However, in decoder-only architectures, the efficiency of Early Exit is severely bottlenecked by the KV Cache Absence problem, where skipped layers fail to provide the necessary historical states for subsequent tokens. Existing solutions, such as recomputation or masking, either introduce significant latency overhead or incur severe precision loss, failing to bridge the gap between theoretical layer reduction and practical wall-clock speedup. In this paper, we propose River-LLM, a training-free framework that enables seamless token-level Early Exit. River-LLM introduces a lightweight KV-Shared Exit River that allows the backbone's missing KV cache to be naturally generated and preserved during the exit process, eliminating the need for costly recovery operations. Furthermore, we utilize state transition similarity within decoder blocks to predict cumulative KV errors and guide precise exit decisions. Extensive experiments on mathematical reasoning and code generation tasks demonstrate that River-LLM achieves 1.71 to 2.16 times of practical speedup while maintaining high generation quality.