Mixture-of-Experts Simbólico: Roteamento Adaptativo Baseado em Habilidades para Raciocínio Heterogêneo

Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning

March 7, 2025

Autores: Justin Chih-Yao Chen, Sukwon Yun, Elias Stengel-Eskin, Tianlong Chen, Mohit Bansal

cs.AI

Resumo

Combinar LLMs especialistas pré-treinados existentes é uma abordagem promissora para enfrentar tarefas em grande escala e diversas de forma escalável. No entanto, a seleção de especialistas no nível da tarefa muitas vezes é muito grosseira, já que tarefas heterogêneas podem exigir diferentes expertises para cada instância. Para permitir a mistura adaptativa no nível da instância de especialistas LLMs pré-treinados, propomos o Symbolic-MoE, um framework Mixture-of-Experts simbólico, baseado em texto e livre de gradientes. O Symbolic-MoE adota uma abordagem refinada de seleção, enfatizando habilidades, como álgebra em matemática ou biologia molecular em raciocínio biomédico. Propomos uma estratégia de recrutamento baseada em habilidades que seleciona dinamicamente o conjunto mais relevante de LLMs especialistas para diversas tarefas de raciocínio com base em seus pontos fortes. Cada especialista selecionado gera seu próprio raciocínio, resultando em k saídas de k especialistas, que são então sintetizadas em uma resposta final de alta qualidade por um agregador escolhido com base em sua capacidade de integrar saídas de raciocínio diversas. Mostramos que a seleção de especialistas no nível da instância do Symbolic-MoE melhora o desempenho de forma significativa, mas — quando implementada de forma ingênua — pode introduzir uma alta sobrecarga computacional devido à necessidade de carregar e descarregar modelos constantemente. Para resolver isso, implementamos uma estratégia de inferência em lote que agrupa instâncias com base em seus especialistas atribuídos, carregando cada modelo apenas uma vez. Isso nos permite integrar 16 modelos especialistas em 1 GPU com um custo de tempo comparável ou melhor que abordagens multiagentes anteriores usando 4 GPUs. Por meio de avaliações extensas em diversos benchmarks (MMLU-Pro, GPQA, AIME e MedMCQA), demonstramos que o Symbolic-MoE supera LLMs robustos como o GPT4o-mini, bem como abordagens multiagentes, com uma melhoria média absoluta de 8,15% em relação à melhor baseline multiagente. Além disso, o Symbolic-MoE elimina a necessidade de discussões multirodadas caras, superando baselines de discussão com menos computação.

English

Combining existing pre-trained expert LLMs is a promising avenue for scalably tackling large-scale and diverse tasks. However, selecting experts at the task level is often too coarse-grained, as heterogeneous tasks may require different expertise for each instance. To enable adaptive instance-level mixing of pre-trained LLM experts, we propose Symbolic-MoE, a symbolic, text-based, and gradient-free Mixture-of-Experts framework. Symbolic-MoE takes a fine-grained approach to selection by emphasizing skills, e.g., algebra in math or molecular biology in biomedical reasoning. We propose a skill-based recruiting strategy that dynamically selects the most relevant set of expert LLMs for diverse reasoning tasks based on their strengths. Each selected expert then generates its own reasoning, resulting in k outputs from k experts, which are then synthesized into a final high-quality response by an aggregator chosen based on its ability to integrate diverse reasoning outputs. We show that Symbolic-MoE's instance-level expert selection improves performance by a large margin but -- when implemented naively -- can introduce a high computational overhead due to the need for constant model loading and offloading. To address this, we implement a batch inference strategy that groups instances based on their assigned experts, loading each model only once. This allows us to integrate 16 expert models on 1 GPU with a time cost comparable to or better than prior multi-agent baselines using 4 GPUs. Through extensive evaluations on diverse benchmarks (MMLU-Pro, GPQA, AIME, and MedMCQA), we demonstrate that Symbolic-MoE outperforms strong LLMs like GPT4o-mini, as well as multi-agent approaches, with an absolute average improvement of 8.15% over the best multi-agent baseline. Moreover, Symbolic-MoE removes the need for expensive multi-round discussions, outperforming discussion baselines with less computation.