Mischung der Gedanken: Lernen, das zu aggregieren, was Experten denken, nicht nur das, was sie sagen

Mixture of Thoughts: Learning to Aggregate What Experts Think, Not Just What They Say

September 25, 2025

papers.authors: Jacob Fein-Ashley, Dhruv Parikh, Rajgopal Kannan, Viktor Prasanna

cs.AI

papers.abstract

Open-Source Large Language Models (LLMs) spezialisieren sich zunehmend auf bestimmte Domänen (z. B. Mathematik, Code, allgemeines logisches Denken), was Systeme motiviert, die komplementäre Stärken verschiedener Modelle nutzen. Bisherige Multi-LLM-Ansätze (i) leiten eine Anfrage an einen oder wenige Experten weiter und generieren unabhängig, (ii) aggregieren Ausgaben jedes Modells durch kostspielige mehrstufige Austausche oder (iii) fusionieren Gewichte in ein einzelnes Modell, was typischerweise architektonische Homogenität erfordert. Wir stellen Mixture of Thoughts (MoT) vor, eine einfache Methode zur latenten Zusammenarbeit heterogener Experten unter einem globalen Routing-Schema. Für jede Anfrage wählt ein leichtgewichtiger Router die Top-K-Experten aus und bestimmt einen primären Experten; gleichmäßig platzierte Interaktionsschichten projizieren versteckte Zustände in einen gemeinsamen latenten Raum, in dem der primäre Experte Cross-Attention über seine aktiven (ausgewählten) Peers durchführt. Vorgelernte Experten bleiben unverändert; nur der Router und die leichtgewichtigen Interaktionsschichten werden mit einem neuartigen gemeinsamen Trainingsziel trainiert, das sowohl die Expertenauswahl als auch die Zusammenarbeit zwischen den Experten verbessert. Über fünf In-Distribution (ID)- und drei Out-of-Distribution (OOD)-Benchmarks hinweg übertrifft MoT den aktuellen State-of-the-Art basierend auf Routing und Aggregation, Avengers, um +0,38 % bzw. +2,92 %. Darüber hinaus übertrifft MoT das leistungsstärkste Einzelmodell deutlich. Dies wird mit Single-Pass-Inferenz, einer Laufzeit vergleichbar mit Routing-Baselines und ohne den Overhead iterativer Aggregation erreicht. MoT bietet einen einfachen Mechanismus im latenten Raum zur Kombination heterogener LLMs, einen praktischen Schritt hin zu einer breiteren Multi-LLM-Zusammenarbeit. Unser Code ist öffentlich verfügbar unter https://github.com/jacobfa/mot.

English

Open-source Large Language Models (LLMs) increasingly specialize by domain (e.g., math, code, general reasoning), motivating systems that leverage complementary strengths across models. Prior multi-LLM approaches either (i) route a query to one or a few experts and generate independently, (ii) aggregate outputs from each model via costly multi-turn exchanges, or (iii) fuse weights into a single model-typically requiring architectural homogeneity. We introduce Mixture of Thoughts (MoT), a simple method for latent-level collaboration among heterogeneous experts under a global routing scheme. For each query, a lightweight router selects top-K experts and designates a primary expert; uniformly placed interaction layers project hidden states into a shared latent space where the primary expert performs cross-attention over its active (selected) peers. Pre-trained experts remain frozen; only the router and the lightweight interaction layers are trained with a novel joint training objective that improves both the expert selection and inter-expert collaboration. Across five in-distribution (ID) and three out-of-distribution (OOD) benchmarks, MoT surpasses the current routing and aggregation-based state-of-the-art, Avengers, by +0.38% and +2.92%, respectively. Further, MoT significantly outperforms the best-performing single model. It achieves this with single-pass inference, runtime comparable to routing baselines, and none of the overheads of iterative aggregation. MoT offers a simple latent-space mechanism for combining heterogeneous LLMs, a practical step toward broader multi-LLM collaboration. Our code is publicly available at https://github.com/jacobfa/mot.