Mengsel van Gedachten: Leren om te Aggregeren Wat Experts Denken, Niet Alleen Wat Ze Zeggen

Mixture of Thoughts: Learning to Aggregate What Experts Think, Not Just What They Say

September 25, 2025

Auteurs: Jacob Fein-Ashley, Dhruv Parikh, Rajgopal Kannan, Viktor Prasanna

cs.AI

Samenvatting

Open-source Large Language Models (LLMs) specialiseren zich steeds meer per domein (bijv. wiskunde, code, algemeen redeneren), wat systemen motiveert die complementaire sterktes van verschillende modellen benutten. Eerdere multi-LLM-benaderingen doen ofwel (i) een query doorsturen naar één of enkele experts en genereren onafhankelijk, (ii) aggregeren uitvoer van elk model via kostbare multi-turn uitwisselingen, of (iii) fuseren gewichten in één model, wat meestal architectonische homogeniteit vereist. Wij introduceren Mixture of Thoughts (MoT), een eenvoudige methode voor latente samenwerking tussen heterogene experts onder een globaal routeringsschema. Voor elke query selecteert een lichtgewicht router de top-K experts en wijst een primaire expert aan; uniform geplaatste interactielagen projecteren verborgen toestanden in een gedeelde latente ruimte waar de primaire expert cross-attention uitvoert over zijn actieve (geselecteerde) peers. Vooraf getrainde experts blijven bevroren; alleen de router en de lichtgewicht interactielagen worden getraind met een nieuw gezamenlijk trainingsdoel dat zowel de expertselectie als de inter-expert samenwerking verbetert. Over vijf in-distributie (ID) en drie out-of-distributie (OOD) benchmarks overtreft MoT de huidige state-of-the-art op basis van routering en aggregatie, Avengers, met respectievelijk +0,38% en +2,92%. Bovendien presteert MoT aanzienlijk beter dan het best presterende individuele model. Dit wordt bereikt met single-pass inferentie, een looptijd vergelijkbaar met routeringsbaselines, en zonder de overhead van iteratieve aggregatie. MoT biedt een eenvoudig latent-ruimte-mechanisme voor het combineren van heterogene LLMs, een praktische stap naar bredere multi-LLM-samenwerking. Onze code is publiekelijk beschikbaar op https://github.com/jacobfa/mot.

English

Open-source Large Language Models (LLMs) increasingly specialize by domain (e.g., math, code, general reasoning), motivating systems that leverage complementary strengths across models. Prior multi-LLM approaches either (i) route a query to one or a few experts and generate independently, (ii) aggregate outputs from each model via costly multi-turn exchanges, or (iii) fuse weights into a single model-typically requiring architectural homogeneity. We introduce Mixture of Thoughts (MoT), a simple method for latent-level collaboration among heterogeneous experts under a global routing scheme. For each query, a lightweight router selects top-K experts and designates a primary expert; uniformly placed interaction layers project hidden states into a shared latent space where the primary expert performs cross-attention over its active (selected) peers. Pre-trained experts remain frozen; only the router and the lightweight interaction layers are trained with a novel joint training objective that improves both the expert selection and inter-expert collaboration. Across five in-distribution (ID) and three out-of-distribution (OOD) benchmarks, MoT surpasses the current routing and aggregation-based state-of-the-art, Avengers, by +0.38% and +2.92%, respectively. Further, MoT significantly outperforms the best-performing single model. It achieves this with single-pass inference, runtime comparable to routing baselines, and none of the overheads of iterative aggregation. MoT offers a simple latent-space mechanism for combining heterogeneous LLMs, a practical step toward broader multi-LLM collaboration. Our code is publicly available at https://github.com/jacobfa/mot.