EMO: Pré-treinamento de Mistura de Especialistas para Modularidade Emergente

Resumo

Os modelos de linguagem de grande escala são normalmente implantados como sistemas monolíticos, exigindo o modelo completo mesmo quando as aplicações necessitam apenas de um subconjunto restrito de capacidades, por exemplo, código, matemática ou conhecimento específico de domínio. As Misturas de Especialistas (MoEs) aparentam oferecer uma alternativa potencial ao ativar apenas um subconjunto de especialistas por entrada, mas, na prática, restringir a inferência a um subconjunto de especialistas para um determinado domínio resulta em severa degradação de desempenho. Isso limita sua praticidade em ambientes com restrições de memória, especialmente à medida que os modelos se tornam maiores e mais esparsos. Apresentamos a EMO, uma MoE projetada para modularidade – o uso e composição independentes de subconjuntos de especialistas – sem exigir pré-definições humanas. Nossa ideia central é incentivar que tokens de domínios semelhantes dependam de especialistas similares. Como os tokens dentro de um documento frequentemente compartilham um domínio, a EMO os restringe a selecionar especialistas de um conjunto compartilhado, permitindo que diferentes documentos usem conjuntos diferentes. Esta simples restrição permite que agrupamentos coerentes de especialistas surjam durante o pré-treinamento usando apenas os limites dos documentos. Pré-treinamos uma EMO de 1B ativo, 14B total em 1T de tokens. Como modelo completo, ele iguala o desempenho das MoEs padrão. Crucialmente, ele permite o uso seletivo de especialistas: reter apenas 25% (12,5%) dos especialistas acarreta uma queda de apenas 1% (3%) em termos absolutos, enquanto as MoEs padrão falham na mesma configuração. Adicionalmente, descobrimos que os subconjuntos de especialistas na EMO se especializam em níveis semânticos (por exemplo, domínios como matemática ou código), em contraste com a especialização sintática de baixo nível observada nas MoEs padrão. Em conjunto, nossos resultados demonstram um caminho para a implantação modular e eficiente em memória de modelos grandes e esparsos, abrindo novas oportunidades para arquiteturas composáveis.

English

Large language models are typically deployed as monolithic systems, requiring the full model even when applications need only a narrow subset of capabilities, e.g., code, math, or domain-specific knowledge. Mixture-of-Experts (MoEs) seemingly offer a potential alternative by activating only a subset of experts per input, but in practice, restricting inference to a subset of experts for a given domain leads to severe performance degradation. This limits their practicality in memory-constrained settings, especially as models grow larger and sparser. We introduce EMO, an MoE designed for modularity-the independent use and composition of expert subsets-without requiring human-defined priors. Our key idea is to encourage tokens from similar domains to rely on similar experts. Since tokens within a document often share a domain, EMO restricts them to select experts from a shared pool, while allowing different documents to use different pools. This simple constraint enables coherent expert groupings to emerge during pretraining using document boundaries alone. We pretrain a 1B-active, 14B-total EMO on 1T tokens. As a full model, it matches standard MoE performance. Crucially, it enables selective expert use: retaining only 25% (12.5%) of experts incurs just a 1% (3%) absolute drop, whereas standard MoEs break under the same setting. We further find that expert subsets in EMO specialize at semantic levels (e.g., domains such as math or code), in contrast to the low-level syntactic specialization observed in standard MoEs. Altogether, our results demonstrate a path toward modular, memory-efficient deployment of large, sparse models and open new opportunities for composable architectures.