RelayGen: Cambio di Modello Intra-Generazione per un Ragionamento Efficiente

RelayGen: Intra-Generation Model Switching for Efficient Reasoning

February 6, 2026

Autori: Jiwon Song, Yoongon Kim, Jae-Joon Kim

cs.AI

Abstract

I grandi modelli di ragionamento (LRM) ottengono prestazioni eccellenti su compiti di ragionamento complesso generando traiettorie di ragionamento lunghe e multi-step, ma lo scaling in fase di inferenza comporta costi di deployment sostanziali. Una sfida chiave è che la difficoltà di generazione varia all'interno di un singolo output, mentre gli approcci esistenti orientati all'efficienza ignorano questa variazione intra-generazione o si basano su un routing supervisionato a livello di token con elevata complessità di sistema. Presentiamo RelayGen, un framework di commutazione dinamica dei modelli a runtime, a livello di segmento, che non richiede training e sfrutta la variazione di difficoltà nel ragionamento a lungo termine. Attraverso un'analisi offline dell'incertezza di generazione utilizzando i margini di probabilità dei token, dimostriamo che un controllo a grana grossa a livello di segmento è sufficiente per catturare le transizioni di difficoltà all'interno di una traiettoria di ragionamento. RelayGen identifica segnali di commutazione specifici del modello che indicano transizioni verso segmenti a difficoltà inferiore e delega dinamicamente la loro continuazione a un modello più piccolo, preservando il ragionamento ad alta difficoltà sul modello grande. Su molteplici benchmark di ragionamento, RelayGen riduce sostanzialmente la latenza di inferenza preservando la maggior parte dell'accuratezza dei modelli di grandi dimensioni. Se combinato con il decoding speculativo, RelayGen raggiunge un miglioramento di velocità end-to-end fino a 2,2 volte con un degrado dell'accuratezza inferiore al 2%, senza richiedere training aggiuntivo o componenti di routing appresi.

English

Large reasoning models (LRMs) achieve strong performance on complex reasoning tasks by generating long, multi-step reasoning trajectories, but inference-time scaling incurs substantial deployment cost. A key challenge is that generation difficulty varies within a single output, whereas existing efficiency-oriented approaches either ignore this intra-generation variation or rely on supervised token-level routing with high system complexity. We present RelayGen, a training-free, segment-level runtime model switching framework that exploits difficulty variation in long-form reasoning. Through offline analysis of generation uncertainty using token probability margins, we show that coarse-grained segment-level control is sufficient to capture difficulty transitions within a reasoning trajectory. RelayGen identifies model-specific switch cues that signal transitions to lower-difficulty segments and dynamically delegates their continuation to a smaller model, while preserving high-difficulty reasoning on the large model. Across multiple reasoning benchmarks, RelayGen substantially reduces inference latency while preserving most of the accuracy of large models. When combined with speculative decoding, RelayGen achieves up to 2.2times end-to-end speedup with less than 2\% accuracy degradation, without requiring additional training or learned routing components.