Symbolische Mixture-of-Experts: Adaptief vaardigheidsgericht routeren voor heterogeen redeneren

Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning

March 7, 2025

Auteurs: Justin Chih-Yao Chen, Sukwon Yun, Elias Stengel-Eskin, Tianlong Chen, Mohit Bansal

cs.AI

Samenvatting

Het combineren van bestaande vooraf getrainde expert-LLM's is een veelbelovende aanpak om op schaalbare wijze grootschalige en diverse taken aan te pakken. Het selecteren van experts op takeniveau is echter vaak te grofmazig, aangezien heterogene taken voor elk geval verschillende expertise kunnen vereisen. Om adaptieve, gevalsspecifieke menging van vooraf getrainde LLM-experts mogelijk te maken, stellen we Symbolic-MoE voor, een symbolisch, tekstgebaseerd en gradientvrij Mixture-of-Experts-framework. Symbolic-MoE hanteert een fijnmazige benadering door de nadruk te leggen op vaardigheden, zoals algebra in wiskunde of moleculaire biologie in biomedisch redeneren. We introduceren een op vaardigheden gebaseerde rekruteringsstrategie die dynamisch de meest relevante set expert-LLM's selecteert voor diverse redeneertaken op basis van hun sterktes. Elke geselecteerde expert genereert vervolgens zijn eigen redenering, wat resulteert in k uitvoeren van k experts, die vervolgens worden samengevoegd tot een hoogwaardig eindantwoord door een aggregator die is gekozen op basis van zijn vermogen om diverse redeneeruitkomsten te integreren. We tonen aan dat de gevalsspecifieke expertselectie van Symbolic-MoE de prestaties aanzienlijk verbetert, maar — wanneer naïef geïmplementeerd — een hoge rekenkundige overhead kan introduceren vanwege de noodzaak voor constant laden en ontladen van modellen. Om dit aan te pakken, implementeren we een batch-inferentiestrategie die gevallen groepeert op basis van hun toegewezen experts, waarbij elk model slechts één keer wordt geladen. Hierdoor kunnen we 16 expertmodellen integreren op 1 GPU met een tijdsinvestering die vergelijkbaar is of beter dan eerdere multi-agent-baselines die 4 GPU's gebruiken. Door uitgebreide evaluaties op diverse benchmarks (MMLU-Pro, GPQA, AIME en MedMCQA) demonstreren we dat Symbolic-MoE sterke LLM's zoals GPT4o-mini, evenals multi-agent-benaderingen, overtreft met een absolute gemiddelde verbetering van 8,15% ten opzichte van de beste multi-agent-baseline. Bovendien elimineert Symbolic-MoE de noodzaak voor dure multi-ronde discussies en overtreft het discussie-baselines met minder rekenkracht.

English

Combining existing pre-trained expert LLMs is a promising avenue for scalably tackling large-scale and diverse tasks. However, selecting experts at the task level is often too coarse-grained, as heterogeneous tasks may require different expertise for each instance. To enable adaptive instance-level mixing of pre-trained LLM experts, we propose Symbolic-MoE, a symbolic, text-based, and gradient-free Mixture-of-Experts framework. Symbolic-MoE takes a fine-grained approach to selection by emphasizing skills, e.g., algebra in math or molecular biology in biomedical reasoning. We propose a skill-based recruiting strategy that dynamically selects the most relevant set of expert LLMs for diverse reasoning tasks based on their strengths. Each selected expert then generates its own reasoning, resulting in k outputs from k experts, which are then synthesized into a final high-quality response by an aggregator chosen based on its ability to integrate diverse reasoning outputs. We show that Symbolic-MoE's instance-level expert selection improves performance by a large margin but -- when implemented naively -- can introduce a high computational overhead due to the need for constant model loading and offloading. To address this, we implement a batch inference strategy that groups instances based on their assigned experts, loading each model only once. This allows us to integrate 16 expert models on 1 GPU with a time cost comparable to or better than prior multi-agent baselines using 4 GPUs. Through extensive evaluations on diverse benchmarks (MMLU-Pro, GPQA, AIME, and MedMCQA), we demonstrate that Symbolic-MoE outperforms strong LLMs like GPT4o-mini, as well as multi-agent approaches, with an absolute average improvement of 8.15% over the best multi-agent baseline. Moreover, Symbolic-MoE removes the need for expensive multi-round discussions, outperforming discussion baselines with less computation.