DeepSeekMoE: На пути к максимальной специализации экспертов в языковых моделях типа "Смесь экспертов"
DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
January 11, 2024
Авторы: Damai Dai, Chengqi Deng, Chenggang Zhao, R. X. Xu, Huazuo Gao, Deli Chen, Jiashi Li, Wangding Zeng, Xingkai Yu, Y. Wu, Zhenda Xie, Y. K. Li, Panpan Huang, Fuli Luo, Chong Ruan, Zhifang Sui, Wenfeng Liang
cs.AI
Аннотация
В эпоху больших языковых моделей архитектура Mixture-of-Experts (MoE) представляет собой перспективный подход для управления вычислительными затратами при масштабировании параметров модели. Однако традиционные архитектуры MoE, такие как GShard, которые активируют топ-K экспертов из N, сталкиваются с трудностями в обеспечении специализации экспертов, то есть в том, чтобы каждый эксперт приобретал непересекающиеся и сфокусированные знания. В ответ на это мы предлагаем архитектуру DeepSeekMoE, направленную на достижение максимальной специализации экспертов. Она включает две основные стратегии: (1) тонкое разделение экспертов на mN и активацию mK из них, что позволяет более гибко комбинировать активированных экспертов; (2) выделение K_s экспертов в качестве общих, с целью захвата общих знаний и снижения избыточности среди маршрутизируемых экспертов. Начиная с небольшого масштаба в 2 миллиарда параметров, мы демонстрируем, что DeepSeekMoE 2B достигает сопоставимой производительности с GShard 2.9B, который имеет в 1.5 раза больше параметров экспертов и вычислений. Кроме того, DeepSeekMoE 2B почти приближается к производительности своей плотной версии с тем же общим количеством параметров, что устанавливает верхний предел для моделей MoE. Впоследствии мы масштабируем DeepSeekMoE до 16 миллиардов параметров и показываем, что она достигает сопоставимой производительности с LLaMA2 7B, используя лишь около 40% вычислений. Более того, наши предварительные усилия по масштабированию DeepSeekMoE до 145 миллиардов параметров последовательно подтверждают её существенные преимущества перед архитектурой GShard и демонстрируют её производительность, сопоставимую с DeepSeek 67B, используя только 28.5% (а возможно, даже 18.2%) вычислений.
English
In the era of large language models, Mixture-of-Experts (MoE) is a promising
architecture for managing computational costs when scaling up model parameters.
However, conventional MoE architectures like GShard, which activate the top-K
out of N experts, face challenges in ensuring expert specialization, i.e.
each expert acquires non-overlapping and focused knowledge. In response, we
propose the DeepSeekMoE architecture towards ultimate expert specialization. It
involves two principal strategies: (1) finely segmenting the experts into mN
ones and activating mK from them, allowing for a more flexible combination of
activated experts; (2) isolating K_s experts as shared ones, aiming at
capturing common knowledge and mitigating redundancy in routed experts.
Starting from a modest scale with 2B parameters, we demonstrate that
DeepSeekMoE 2B achieves comparable performance with GShard 2.9B, which has 1.5
times the expert parameters and computation. In addition, DeepSeekMoE 2B nearly
approaches the performance of its dense counterpart with the same number of
total parameters, which set the upper bound of MoE models. Subsequently, we
scale up DeepSeekMoE to 16B parameters and show that it achieves comparable
performance with LLaMA2 7B, with only about 40% of computations. Further, our
preliminary efforts to scale up DeepSeekMoE to 145B parameters consistently
validate its substantial advantages over the GShard architecture, and show its
performance comparable with DeepSeek 67B, using only 28.5% (maybe even 18.2%)
of computations.