DeepSeekMoE：混合専門家言語モデルにおける究極の専門性特化を目指して

DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models

January 11, 2024

著者: Damai Dai, Chengqi Deng, Chenggang Zhao, R. X. Xu, Huazuo Gao, Deli Chen, Jiashi Li, Wangding Zeng, Xingkai Yu, Y. Wu, Zhenda Xie, Y. K. Li, Panpan Huang, Fuli Luo, Chong Ruan, Zhifang Sui, Wenfeng Liang

cs.AI

要旨

大規模言語モデルの時代において、Mixture-of-Experts（MoE）は、モデルパラメータをスケールアップする際の計算コストを管理する有望なアーキテクチャです。しかし、N個の専門家からトップKを活性化するGShardのような従来のMoEアーキテクチャは、専門家の特化（各専門家が重複のない焦点化された知識を獲得すること）を確保するという課題に直面しています。これに対応するため、我々は最終的な専門家の特化を目指したDeepSeekMoEアーキテクチャを提案します。これには2つの主要な戦略が含まれます：（1）専門家をmN個に細分化し、その中からmK個を活性化することで、活性化される専門家のより柔軟な組み合わせを可能にする、（2）K_s個の専門家を共有専門家として分離し、共通知識の獲得とルーティングされる専門家の冗長性の緩和を図る。20億パラメータという控えめな規模から開始し、DeepSeekMoE 20億が、専門家パラメータと計算量が1.5倍のGShard 29億と同等の性能を達成することを実証します。さらに、DeepSeekMoE 20億は、総パラメータ数が同じ高密度モデル（これはMoEモデルの上限を設定する）の性能にほぼ迫ります。続いて、DeepSeekMoEを160億パラメータにスケールアップし、計算量は約40%のみでLLaMA2 70億と同等の性能を達成することを示します。さらに、DeepSeekMoEを1450億パラメータにスケールアップする予備的な取り組みは、GShardアーキテクチャに対するその大幅な優位性を一貫して検証し、計算量は28.5%（場合によっては18.2%）のみを使用して、DeepSeek 670億と同等の性能を示しています。

English

In the era of large language models, Mixture-of-Experts (MoE) is a promising architecture for managing computational costs when scaling up model parameters. However, conventional MoE architectures like GShard, which activate the top-K out of N experts, face challenges in ensuring expert specialization, i.e. each expert acquires non-overlapping and focused knowledge. In response, we propose the DeepSeekMoE architecture towards ultimate expert specialization. It involves two principal strategies: (1) finely segmenting the experts into mN ones and activating mK from them, allowing for a more flexible combination of activated experts; (2) isolating K_s experts as shared ones, aiming at capturing common knowledge and mitigating redundancy in routed experts. Starting from a modest scale with 2B parameters, we demonstrate that DeepSeekMoE 2B achieves comparable performance with GShard 2.9B, which has 1.5 times the expert parameters and computation. In addition, DeepSeekMoE 2B nearly approaches the performance of its dense counterpart with the same number of total parameters, which set the upper bound of MoE models. Subsequently, we scale up DeepSeekMoE to 16B parameters and show that it achieves comparable performance with LLaMA2 7B, with only about 40% of computations. Further, our preliminary efforts to scale up DeepSeekMoE to 145B parameters consistently validate its substantial advantages over the GShard architecture, and show its performance comparable with DeepSeek 67B, using only 28.5% (maybe even 18.2%) of computations.