Mezcla de Pensamientos: Aprendiendo a Agregar lo que los Expertos Piensan, No Solo lo que Dicen

Mixture of Thoughts: Learning to Aggregate What Experts Think, Not Just What They Say

September 25, 2025

Autores: Jacob Fein-Ashley, Dhruv Parikh, Rajgopal Kannan, Viktor Prasanna

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs) de código abierto se especializan cada vez más por dominio (por ejemplo, matemáticas, código, razonamiento general), lo que motiva sistemas que aprovechan las fortalezas complementarias entre modelos. Los enfoques previos de múltiples LLMs ya sea (i) dirigen una consulta a uno o pocos expertos y generan de forma independiente, (ii) agregan salidas de cada modelo mediante intercambios costosos de múltiples turnos, o (iii) fusionan pesos en un solo modelo, lo que generalmente requiere homogeneidad arquitectónica. Introducimos Mixture of Thoughts (MoT), un método simple para la colaboración a nivel latente entre expertos heterogéneos bajo un esquema de enrutamiento global. Para cada consulta, un enrutador ligero selecciona los K expertos principales y designa un experto primario; capas de interacción colocadas uniformemente proyectan estados ocultos en un espacio latente compartido donde el experto primario realiza atención cruzada sobre sus pares activos (seleccionados). Los expertos preentrenados permanecen congelados; solo el enrutador y las capas de interacción ligeras se entrenan con un nuevo objetivo de entrenamiento conjunto que mejora tanto la selección de expertos como la colaboración inter-expertos. En cinco puntos de referencia dentro de la distribución (ID) y tres fuera de la distribución (OOD), MoT supera al estado del arte actual basado en enrutamiento y agregación, Avengers, en +0.38% y +2.92%, respectivamente. Además, MoT supera significativamente al mejor modelo individual. Logra esto con inferencia de un solo paso, tiempo de ejecución comparable a los baselines de enrutamiento, y sin los sobrecostos de la agregación iterativa. MoT ofrece un mecanismo simple en el espacio latente para combinar LLMs heterogéneos, un paso práctico hacia una colaboración más amplia entre múltiples LLMs. Nuestro código está disponible públicamente en https://github.com/jacobfa/mot.

English

Open-source Large Language Models (LLMs) increasingly specialize by domain (e.g., math, code, general reasoning), motivating systems that leverage complementary strengths across models. Prior multi-LLM approaches either (i) route a query to one or a few experts and generate independently, (ii) aggregate outputs from each model via costly multi-turn exchanges, or (iii) fuse weights into a single model-typically requiring architectural homogeneity. We introduce Mixture of Thoughts (MoT), a simple method for latent-level collaboration among heterogeneous experts under a global routing scheme. For each query, a lightweight router selects top-K experts and designates a primary expert; uniformly placed interaction layers project hidden states into a shared latent space where the primary expert performs cross-attention over its active (selected) peers. Pre-trained experts remain frozen; only the router and the lightweight interaction layers are trained with a novel joint training objective that improves both the expert selection and inter-expert collaboration. Across five in-distribution (ID) and three out-of-distribution (OOD) benchmarks, MoT surpasses the current routing and aggregation-based state-of-the-art, Avengers, by +0.38% and +2.92%, respectively. Further, MoT significantly outperforms the best-performing single model. It achieves this with single-pass inference, runtime comparable to routing baselines, and none of the overheads of iterative aggregation. MoT offers a simple latent-space mechanism for combining heterogeneous LLMs, a practical step toward broader multi-LLM collaboration. Our code is publicly available at https://github.com/jacobfa/mot.