Collaborazione tra LLM a Livello di Token tramite FusionRoute

Abstract

I grandi modelli linguistici (LLM) dimostrano punti di forza in diversi ambiti. Tuttavia, ottenere prestazioni solide in tutti questi domini con un unico modello generico richiede tipicamente un ridimensionamento verso dimensioni proibitive in termini di costi di addestramento e implementazione. D'altro canto, sebbene i modelli più piccoli e specializzati per dominio siano molto più efficienti, faticano a generalizzare al di là delle loro distribuzioni di addestramento. Per affrontare questo dilemma, proponiamo FusionRoute, un framework robusto ed efficace per la collaborazione multi-LLM a livello di token, in cui un router leggero seleziona simultaneamente (i) l'esperto più adatto in ogni fase di decodifica e (ii) fornisce un logit complementare che affina o corregge la distribuzione del token successivo dell'esperto selezionato tramite addizione di logit. A differenza dei metodi di collaborazione a livello di token esistenti che si basano esclusivamente sugli output fissi degli esperti, forniamo un'analisi teorica che dimostra come il routing puramente basato sugli esperti sia intrinsecamente limitato: a meno che non valgano forti assunzioni di copertura globale, esso non può in generale realizzare la politica di decodifica ottimale. Aumentando la selezione degli esperti con un generatore complementare addestrabile, FusionRoute espande la classe di politiche effettiva e consente il recupero delle funzioni di valore ottimali sotto condizioni non restrittive. Empiricamente, attraverso le famiglie sia di Llama-3 che di Gemma-2 e vari benchmark che spaziano dal ragionamento matematico, alla generazione di codice, al seguimento di istruzioni, FusionRoute supera sia la collaborazione a livello di sequenza e di token, sia la fusione di modelli e il fine-tuning diretto, rimanendo allo stesso tempo competitivo con gli esperti di dominio nei rispettivi compiti.

English

Large language models (LLMs) exhibit strengths across diverse domains. However, achieving strong performance across these domains with a single general-purpose model typically requires scaling to sizes that are prohibitively expensive to train and deploy. On the other hand, while smaller domain-specialized models are much more efficient, they struggle to generalize beyond their training distributions. To address this dilemma, we propose FusionRoute, a robust and effective token-level multi-LLM collaboration framework in which a lightweight router simultaneously (i) selects the most suitable expert at each decoding step and (ii) contributes a complementary logit that refines or corrects the selected expert's next-token distribution via logit addition. Unlike existing token-level collaboration methods that rely solely on fixed expert outputs, we provide a theoretical analysis showing that pure expert-only routing is fundamentally limited: unless strong global coverage assumptions hold, it cannot in general realize the optimal decoding policy. By augmenting expert selection with a trainable complementary generator, FusionRoute expands the effective policy class and enables recovery of optimal value functions under mild conditions. Empirically, across both Llama-3 and Gemma-2 families and diverse benchmarks spanning mathematical reasoning, code generation, and instruction following, FusionRoute outperforms both sequence- and token-level collaboration, model merging, and direct fine-tuning, while remaining competitive with domain experts on their respective tasks.

Collaborazione tra LLM a Livello di Token tramite FusionRoute

Token-Level LLM Collaboration via FusionRoute

Abstract

Support