Экспертное апсайклинг: Смещение вычислительно-эффективной границы для смеси экспертов

Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts

April 21, 2026

Авторы: Chaitanya Dwivedi, Binxuan Huang, Himanshu Gupta, Pratik Jayarao, Neeraj Varshney, Bing Yin

cs.AI

Аннотация

Модели со смесью экспертов (Mixture-of-Experts, MoE) стали доминирующей архитектурой для масштабирования больших языковых моделей: передовые модели регулярно разделяют общее количество параметров и вычисления на токен за счёт разреженной маршрутизации к экспертам. Законы масштабирования показывают, что при фиксированных активных вычислениях качество модели предсказуемо масштабируется с общим количеством параметров, и MoE реализуют это за счёт увеличения числа экспертов. Однако обучение больших MoE-моделей требует больших затрат, поскольку требования к памяти и межпроцессорному взаимодействию масштабируются с общим количеством параметров. Мы предлагаем метод «апсайклинга экспертов» (expert upcycling) — метод прогрессивного наращивания ёмкости MoE путём увеличения числа экспертов в процессе продолженного предварительного обучения (continued pre-training, CPT). Для обученной модели с E экспертами оператор апсайклинга строит модель с mE экспертами путём дублирования экспертов и расширения маршрутизатора при фиксированной топ-K маршрутизации, сохраняя стоимость инференса на токен. Дублирование обеспечивает тёплую инициализацию: расширенная модель наследует изученные представления исходного контрольного пункта, начиная со существенно более низких потерь, чем при случайной инициализации. Последующее CPT затем разрушает симметрию между дублированными экспертами, чтобы стимулировать их специализацию. Мы формализуем оператор апсайклинга и разрабатываем теоретическую framework, декомпозирующий разрыв в качестве на слагаемое ёмкости и слагаемое инициализации. Мы также вводим выбор экспертов на основе полезности (utility-based expert selection), который использует оценки важности на основе градиентов для направления неоднородного дублирования, что более чем в три раза сокращает разрыв при ограниченном CPT. В наших экспериментах с общим количеством параметров 7B–13B апсайкленная модель соответствует базовому уровню с фиксированным размером по потерям на валидации, экономя при этом 32% GPU-часов. Всесторонние ablation-исследования across масштабов моделей, коэффициентов активации, MoE-архитектур и бюджетов обучения дают практическое руководство по внедрению апсайклинга экспертов, устанавливая его как принципиальную, вычислительно эффективную альтернативу обучению больших MoE-моделей с нуля.

English

Mixture-of-Experts (MoE) has become the dominant architecture for scaling large language models: frontier models routinely decouple total parameters from per-token computation through sparse expert routing. Scaling laws show that under fixed active computation, model quality scales predictably with total parameters, and MoEs realize this by increasing expert count. However, training large MoEs is expensive, as memory requirements and inter-device communication both scale with total parameter count. We propose expert upcycling, a method for progressively expanding MoE capacity by increasing the number of experts during continued pre-training (CPT). Given a trained E-expert model, the upcycling operator constructs an mE-expert model through expert duplication and router extension while holding top-K routing fixed, preserving per-token inference cost. Duplication provides a warm initialization: the expanded model inherits the source checkpoint's learned representations, starting from a substantially lower loss than random initialization. Subsequent CPT then breaks the symmetry among duplicated experts to drive specialization. We formalize the upcycling operator and develop a theoretical framework decomposing the quality gap into a capacity term and an initialization term. We further introduce utility-based expert selection, which uses gradient-based importance scores to guide non-uniform duplication, more than tripling gap closure when CPT is limited. In our 7B-13B total parameter experiments, the upcycled model matches the fixed-size baseline on validation loss while saving 32% of GPU hours. Comprehensive ablations across model scales, activation ratios, MoE architectures, and training budgets yield a practical recipe for deploying expert upcycling, establishing it as a principled, compute-efficient alternative to training large MoE models from scratch.