Коллаборация LLM на уровне токенов с помощью FusionRoute

Token-Level LLM Collaboration via FusionRoute

January 8, 2026

Авторы: Nuoya Xiong, Yuhang Zhou, Hanqing Zeng, Zhaorun Chen, Furong Huang, Shuchao Bi, Lizhu Zhang, Zhuokai Zhao

cs.AI

Аннотация

Крупные языковые модели (LLМ) демонстрируют высокую эффективность в различных областях. Однако достижение высокой производительности во всех этих областях с помощью единой модели общего назначения обычно требует масштабирования до размеров, обучение и развертывание которых непомерно дорого. С другой стороны, хотя небольшие специализированные модели гораздо более эффективны, они плохо обобщаются за пределы своих обучающих распределений. Для решения этой дилеммы мы предлагаем FusionRoute — надежную и эффективную фреймворк коллаборации нескольких LLМ на уровне токенов, в которой легковесный маршрутизатор одновременно (i) выбирает наиболее подходящего эксперта на каждом шаге декодирования и (ii) вносит комплементарный логит, который уточняет или корректирует распределение следующего токена выбранного эксперта посредством сложения логитов. В отличие от существующих методов коллаборации на уровне токенов, которые полагаются исключительно на фиксированные выходы экспертов, мы предоставляем теоретический анализ, показывающий, что чистая маршрутизация только между экспертами принципиально ограничена: если не выполняются строгие предположения о глобальном покрытии, она, вообще говоря, не может реализовать оптимальную политику декодирования. Дополняя выбор эксперта обучаемым комплементарным генератором, FusionRoute расширяет класс эффективных политик и позволяет восстановить оптимальные функции ценности при мягких условиях. Экспериментально, на семействах моделей Llama-3 и Gemma-2 и различных бенчмарках, охватывающих математические рассуждения, генерацию кода и следование инструкциям, FusionRoute превосходит как коллаборацию на уровне последовательностей и токенов, так и слияние моделей, и прямое тонкое настройку, оставаясь при этом конкурентоспособным с узкоспециализированными экспертами в их respective tasks.

English

Large language models (LLMs) exhibit strengths across diverse domains. However, achieving strong performance across these domains with a single general-purpose model typically requires scaling to sizes that are prohibitively expensive to train and deploy. On the other hand, while smaller domain-specialized models are much more efficient, they struggle to generalize beyond their training distributions. To address this dilemma, we propose FusionRoute, a robust and effective token-level multi-LLM collaboration framework in which a lightweight router simultaneously (i) selects the most suitable expert at each decoding step and (ii) contributes a complementary logit that refines or corrects the selected expert's next-token distribution via logit addition. Unlike existing token-level collaboration methods that rely solely on fixed expert outputs, we provide a theoretical analysis showing that pure expert-only routing is fundamentally limited: unless strong global coverage assumptions hold, it cannot in general realize the optimal decoding policy. By augmenting expert selection with a trainable complementary generator, FusionRoute expands the effective policy class and enables recovery of optimal value functions under mild conditions. Empirically, across both Llama-3 and Gemma-2 families and diverse benchmarks spanning mathematical reasoning, code generation, and instruction following, FusionRoute outperforms both sequence- and token-level collaboration, model merging, and direct fine-tuning, while remaining competitive with domain experts on their respective tasks.