Otimização da Esparsidade em Modelos de Linguagem de Mistura de Especialistas para Tarefas de Raciocínio

Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks

August 26, 2025

Autores: Taishi Nakamura, Satoki Ishikawa, Masaki Kawamura, Takumi Okamoto, Daisuke Nohara, Jun Suzuki, Rio Yokota

cs.AI

Resumo

Leis de escalonamento empíricas têm impulsionado a evolução dos grandes modelos de linguagem (LLMs), mas seus coeficientes mudam sempre que a arquitetura do modelo ou o pipeline de dados é alterado. Modelos de Mistura de Especialistas (MoE), agora padrão em sistemas de última geração, introduzem uma nova dimensão de esparsidade que as fronteiras atuais de modelos densos ignoram. Investigamos como a esparsidade MoE influencia dois regimes distintos de capacidade: memorização e raciocínio. Treinamos famílias de Transformers MoE que variam sistematicamente o número total de parâmetros, parâmetros ativos e o roteamento top-k, mantendo o orçamento computacional fixo. Para cada modelo, registramos a perda durante o pré-treinamento, a perda em tarefas subsequentes e a precisão da tarefa, permitindo-nos separar a lacuna de generalização treino-teste da lacuna perda-precisão. Benchmarks de memorização melhoram monotonicamente com o aumento do número total de parâmetros, refletindo a perda de treinamento. Em contraste, o desempenho em raciocínio satura e pode até regredir, apesar dos ganhos contínuos tanto no número total de parâmetros quanto na perda de treinamento. Alterar apenas o top-k tem pouco efeito quando os parâmetros ativos são constantes, e hiperparâmetros clássicos, como taxa de aprendizado e inicialização, modulam a lacuna de generalização na mesma direção que a esparsidade. Nem o aprendizado por reforço pós-treinamento (GRPO) nem o aumento de computação no momento do teste conseguem resgatar o déficit de raciocínio de modelos excessivamente esparsos. Nossos checkpoints de modelo, código e logs são de código aberto em https://github.com/rioyokotalab/optimal-sparsity.

English

Empirical scaling laws have driven the evolution of large language models (LLMs), yet their coefficients shift whenever the model architecture or data pipeline changes. Mixture-of-Experts (MoE) models, now standard in state-of-the-art systems, introduce a new sparsity dimension that current dense-model frontiers overlook. We investigate how MoE sparsity influences two distinct capability regimes: memorization and reasoning. We train families of MoE Transformers that systematically vary total parameters, active parameters, and top-k routing while holding the compute budget fixed. For every model we record pre-training loss, downstream task loss, and task accuracy, allowing us to separate the train-test generalization gap from the loss-accuracy gap. Memorization benchmarks improve monotonically with total parameters, mirroring training loss. By contrast, reasoning performance saturates and can even regress despite continued gains in both total parameters and training loss. Altering top-k alone has little effect when active parameters are constant, and classic hyperparameters such as learning rate and initialization modulate the generalization gap in the same direction as sparsity. Neither post-training reinforcement learning (GRPO) nor extra test-time compute rescues the reasoning deficit of overly sparse models. Our model checkpoints, code and logs are open-source at https://github.com/rioyokotalab/optimal-sparsity.