RelayGen: Внутрипоколенческое переключение моделей для эффективного логического вывода

RelayGen: Intra-Generation Model Switching for Efficient Reasoning

February 6, 2026

Авторы: Jiwon Song, Yoongon Kim, Jae-Joon Kim

cs.AI

Аннотация

Крупные модели логического вывода (LRM) демонстрируют высокую производительность на сложных задачах, требующих рассуждений, за счет генерации длинных, многошаговых цепочек reasoning. Однако масштабирование на этапе логического вывода влечет за собой значительные затраты на развертывание. Ключевая проблема заключается в том, что сложность генерации варьируется в пределах одного выходного ответа, тогда как существующие подходы, ориентированные на эффективность, либо игнорируют эту вариативность внутри генерации, либо полагаются на контролируемую маршрутизацию на уровне токенов, что приводит к высокой системной сложности. Мы представляем RelayGen, бесплатную (не требующую дообучения) framework динамического переключения моделей на уровне сегментов, которая использует вариативность сложности в процессе рассуждений. Посредством оффлайн-анализа неопределенности генерации с использованием полей вероятностей токенов мы показываем, что управления на уровне сегментов достаточно для фиксации переходов сложности внутри цепочки рассуждений. RelayGen идентифицирует модельно-специфичные сигналы переключения, которые указывают на переход к сегментам с меньшей сложностью, и динамически делегирует их продолжение меньшей модели, сохраняя при этом рассуждения высокой сложности на большой модели. На множестве бенчмарков для проверки рассуждений RelayGen существенно снижает задержку логического вывода, сохраняя большую часть точности крупных моделей. В сочетании со спекулятивным декодированием RelayGen достигает до 2.2-кратного ускорения end-to-end с деградацией точности менее 2%, не требуя дополнительного обучения или обучаемых компонентов маршрутизации.

English

Large reasoning models (LRMs) achieve strong performance on complex reasoning tasks by generating long, multi-step reasoning trajectories, but inference-time scaling incurs substantial deployment cost. A key challenge is that generation difficulty varies within a single output, whereas existing efficiency-oriented approaches either ignore this intra-generation variation or rely on supervised token-level routing with high system complexity. We present RelayGen, a training-free, segment-level runtime model switching framework that exploits difficulty variation in long-form reasoning. Through offline analysis of generation uncertainty using token probability margins, we show that coarse-grained segment-level control is sufficient to capture difficulty transitions within a reasoning trajectory. RelayGen identifies model-specific switch cues that signal transitions to lower-difficulty segments and dynamically delegates their continuation to a smaller model, while preserving high-difficulty reasoning on the large model. Across multiple reasoning benchmarks, RelayGen substantially reduces inference latency while preserving most of the accuracy of large models. When combined with speculative decoding, RelayGen achieves up to 2.2times end-to-end speedup with less than 2\% accuracy degradation, without requiring additional training or learned routing components.