Mélange de Pensées : Apprendre à Agréger Ce que les Experts Pensent, Pas Seulement Ce qu’ils Disent

Mixture of Thoughts: Learning to Aggregate What Experts Think, Not Just What They Say

September 25, 2025

papers.authors: Jacob Fein-Ashley, Dhruv Parikh, Rajgopal Kannan, Viktor Prasanna

cs.AI

papers.abstract

Les modèles de langage de grande taille (LLM) open source se spécialisent de plus en plus par domaine (par exemple, mathématiques, code, raisonnement général), ce qui motive la création de systèmes exploitant les forces complémentaires de plusieurs modèles. Les approches multi-LLM précédentes consistent soit (i) à acheminer une requête vers un ou quelques experts et à générer des réponses de manière indépendante, (ii) à agréger les sorties de chaque modèle via des échanges coûteux en plusieurs tours, ou (iii) à fusionner les poids en un seul modèle, nécessitant généralement une homogénéité architecturale. Nous introduisons Mixture of Thoughts (MoT), une méthode simple pour une collaboration au niveau latent entre experts hétérogènes sous un schéma de routage global. Pour chaque requête, un routeur léger sélectionne les K meilleurs experts et désigne un expert principal ; des couches d'interaction uniformément placées projettent les états cachés dans un espace latent partagé où l'expert principal effectue une attention croisée sur ses pairs actifs (sélectionnés). Les experts pré-entraînés restent figés ; seuls le routeur et les couches d'interaction légères sont entraînés avec un nouvel objectif d'entraînement conjoint qui améliore à la fois la sélection des experts et la collaboration inter-experts. Sur cinq benchmarks en distribution (ID) et trois hors distribution (OOD), MoT surpasse l'état de l'art actuel basé sur le routage et l'agrégation, Avengers, respectivement de +0,38 % et +2,92 %. De plus, MoT surpasse significativement le meilleur modèle unique. Il réalise cela avec une inférence en un seul passage, un temps d'exécution comparable aux bases de référence de routage, et sans les surcharges de l'agrégation itérative. MoT propose un mécanisme simple dans l'espace latent pour combiner des LLM hétérogènes, une étape pratique vers une collaboration multi-LLM plus large. Notre code est disponible publiquement à l'adresse https://github.com/jacobfa/mot.

English

Open-source Large Language Models (LLMs) increasingly specialize by domain (e.g., math, code, general reasoning), motivating systems that leverage complementary strengths across models. Prior multi-LLM approaches either (i) route a query to one or a few experts and generate independently, (ii) aggregate outputs from each model via costly multi-turn exchanges, or (iii) fuse weights into a single model-typically requiring architectural homogeneity. We introduce Mixture of Thoughts (MoT), a simple method for latent-level collaboration among heterogeneous experts under a global routing scheme. For each query, a lightweight router selects top-K experts and designates a primary expert; uniformly placed interaction layers project hidden states into a shared latent space where the primary expert performs cross-attention over its active (selected) peers. Pre-trained experts remain frozen; only the router and the lightweight interaction layers are trained with a novel joint training objective that improves both the expert selection and inter-expert collaboration. Across five in-distribution (ID) and three out-of-distribution (OOD) benchmarks, MoT surpasses the current routing and aggregation-based state-of-the-art, Avengers, by +0.38% and +2.92%, respectively. Further, MoT significantly outperforms the best-performing single model. It achieves this with single-pass inference, runtime comparable to routing baselines, and none of the overheads of iterative aggregation. MoT offers a simple latent-space mechanism for combining heterogeneous LLMs, a practical step toward broader multi-LLM collaboration. Our code is publicly available at https://github.com/jacobfa/mot.