DeepSeekMoE : Vers une spécialisation ultime des experts dans les modèles de langage à mélange d'experts

Résumé

À l’ère des grands modèles de langage, l’architecture Mixture-of-Experts (MoE) représente une approche prometteuse pour gérer les coûts computationnels lors de la montée en échelle des paramètres du modèle. Cependant, les architectures MoE conventionnelles comme GShard, qui activent les K experts les plus pertinents parmi N, rencontrent des difficultés à garantir la spécialisation des experts, c’est-à-dire à ce que chaque expert acquière des connaissances non redondantes et ciblées. En réponse, nous proposons l’architecture DeepSeekMoE visant une spécialisation ultime des experts. Elle repose sur deux stratégies principales : (1) segmenter finement les experts en mN unités et en activer mK, permettant une combinaison plus flexible des experts activés ; (2) isoler K_s experts comme partagés, dans le but de capturer des connaissances communes et de réduire la redondance parmi les experts routés. En partant d’une échelle modeste avec 2 milliards de paramètres, nous démontrons que DeepSeekMoE 2B atteint des performances comparables à celles de GShard 2,9B, qui dispose de 1,5 fois plus de paramètres et de calculs dédiés aux experts. De plus, DeepSeekMoE 2B approche presque les performances de son équivalent dense avec le même nombre total de paramètres, qui représente la limite supérieure des modèles MoE. Par la suite, nous augmentons l’échelle de DeepSeekMoE à 16 milliards de paramètres et montrons qu’il atteint des performances comparables à celles de LLaMA2 7B, avec seulement environ 40 % des calculs. Enfin, nos efforts préliminaires pour monter en échelle DeepSeekMoE à 145 milliards de paramètres valident de manière constante ses avantages substantiels par rapport à l’architecture GShard, et montrent des performances comparables à celles de DeepSeek 67B, en utilisant seulement 28,5 % (voire même 18,2 %) des calculs.

English

In the era of large language models, Mixture-of-Experts (MoE) is a promising architecture for managing computational costs when scaling up model parameters. However, conventional MoE architectures like GShard, which activate the top-K out of N experts, face challenges in ensuring expert specialization, i.e. each expert acquires non-overlapping and focused knowledge. In response, we propose the DeepSeekMoE architecture towards ultimate expert specialization. It involves two principal strategies: (1) finely segmenting the experts into mN ones and activating mK from them, allowing for a more flexible combination of activated experts; (2) isolating K_s experts as shared ones, aiming at capturing common knowledge and mitigating redundancy in routed experts. Starting from a modest scale with 2B parameters, we demonstrate that DeepSeekMoE 2B achieves comparable performance with GShard 2.9B, which has 1.5 times the expert parameters and computation. In addition, DeepSeekMoE 2B nearly approaches the performance of its dense counterpart with the same number of total parameters, which set the upper bound of MoE models. Subsequently, we scale up DeepSeekMoE to 16B parameters and show that it achieves comparable performance with LLaMA2 7B, with only about 40% of computations. Further, our preliminary efforts to scale up DeepSeekMoE to 145B parameters consistently validate its substantial advantages over the GShard architecture, and show its performance comparable with DeepSeek 67B, using only 28.5% (maybe even 18.2%) of computations.

DeepSeekMoE : Vers une spécialisation ultime des experts dans les modèles de langage à mélange d'experts

DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models

Résumé

Support