Смесь Мыслей: Обучение Агрегированию Того, Что Эксперты Думают, а Не Только Того, Что Они Говорят

Mixture of Thoughts: Learning to Aggregate What Experts Think, Not Just What They Say

September 25, 2025

Авторы: Jacob Fein-Ashley, Dhruv Parikh, Rajgopal Kannan, Viktor Prasanna

cs.AI

Аннотация

Открытые большие языковые модели (LLM) всё чаще специализируются по доменам (например, математика, программирование, общие рассуждения), что стимулирует создание систем, использующих комплементарные сильные стороны различных моделей. Предыдущие подходы с использованием нескольких LLM либо (i) направляют запрос к одному или нескольким экспертам и генерируют ответы независимо, (ii) агрегируют выходные данные от каждой модели через затратные многошаговые обмены, либо (iii) объединяют веса в единую модель, что обычно требует архитектурной однородности. Мы представляем Mixture of Thoughts (MoT), простой метод для латентного уровня сотрудничества среди гетерогенных экспертов в рамках глобальной схемы маршрутизации. Для каждого запроса легковесный маршрутизатор выбирает топ-K экспертов и назначает основного эксперта; равномерно размещённые слои взаимодействия проецируют скрытые состояния в общее латентное пространство, где основной эксперт выполняет кросс-внимание над своими активными (выбранными) коллегами. Предварительно обученные эксперты остаются замороженными; обучаются только маршрутизатор и легковесные слои взаимодействия с использованием новой совместной функции обучения, которая улучшает как выбор экспертов, так и взаимодействие между ними. На пяти внутрираспределительных (ID) и трёх внераспределительных (OOD) тестах MoT превосходит текущий state-of-the-art, основанный на маршрутизации и агрегации, Avengers, на +0,38% и +2,92% соответственно. Кроме того, MoT значительно превосходит лучшую одиночную модель. Это достигается с однопроходным выводом, временем выполнения, сопоставимым с базовыми методами маршрутизации, и без накладных расходов на итеративную агрегацию. MoT предлагает простой механизм в латентном пространстве для объединения гетерогенных LLM, практический шаг к более широкому сотрудничеству нескольких LLM. Наш код доступен публично по адресу https://github.com/jacobfa/mot.

English

Open-source Large Language Models (LLMs) increasingly specialize by domain (e.g., math, code, general reasoning), motivating systems that leverage complementary strengths across models. Prior multi-LLM approaches either (i) route a query to one or a few experts and generate independently, (ii) aggregate outputs from each model via costly multi-turn exchanges, or (iii) fuse weights into a single model-typically requiring architectural homogeneity. We introduce Mixture of Thoughts (MoT), a simple method for latent-level collaboration among heterogeneous experts under a global routing scheme. For each query, a lightweight router selects top-K experts and designates a primary expert; uniformly placed interaction layers project hidden states into a shared latent space where the primary expert performs cross-attention over its active (selected) peers. Pre-trained experts remain frozen; only the router and the lightweight interaction layers are trained with a novel joint training objective that improves both the expert selection and inter-expert collaboration. Across five in-distribution (ID) and three out-of-distribution (OOD) benchmarks, MoT surpasses the current routing and aggregation-based state-of-the-art, Avengers, by +0.38% and +2.92%, respectively. Further, MoT significantly outperforms the best-performing single model. It achieves this with single-pass inference, runtime comparable to routing baselines, and none of the overheads of iterative aggregation. MoT offers a simple latent-space mechanism for combining heterogeneous LLMs, a practical step toward broader multi-LLM collaboration. Our code is publicly available at https://github.com/jacobfa/mot.