DeepSeekMoE: Op Weg naar Ultieme Expertspecialisatie in Mixture-of-Experts Taalmodellen

Samenvatting

In het tijdperk van grote taalmodellen is Mixture-of-Experts (MoE) een veelbelovende architectuur voor het beheren van rekenkosten bij het opschalen van modelparameters. Echter, conventionele MoE-architecturen zoals GShard, die de top-K van N experts activeren, kampen met uitdagingen bij het waarborgen van expertspecialisatie, d.w.z. dat elke expert niet-overlappende en gerichte kennis verwerft. Als reactie hierop stellen we de DeepSeekMoE-architectuur voor, gericht op ultieme expertspecialisatie. Deze omvat twee hoofdstrategieën: (1) het fijn segmenteren van de experts in mN experts en het activeren van mK daaruit, wat een flexibelere combinatie van geactiveerde experts mogelijk maakt; (2) het isoleren van K_s experts als gedeelde experts, met als doel gemeenschappelijke kennis vast te leggen en redundantie in gerouteerde experts te verminderen. Beginnend op een bescheiden schaal met 2B parameters, tonen we aan dat DeepSeekMoE 2B vergelijkbare prestaties behaalt met GShard 2.9B, dat 1,5 keer zoveel expertparameters en rekenkracht heeft. Bovendien benadert DeepSeekMoE 2B bijna de prestaties van zijn dichte tegenhanger met hetzelfde aantal totale parameters, wat de bovengrens van MoE-modellen bepaalt. Vervolgens schalen we DeepSeekMoE op naar 16B parameters en laten we zien dat het vergelijkbare prestaties behaalt met LLaMA2 7B, met slechts ongeveer 40% van de rekenkracht. Daarnaast valideren onze eerste inspanningen om DeepSeekMoE op te schalen naar 145B parameters consistent de aanzienlijke voordelen ten opzichte van de GShard-architectuur, en tonen we aan dat de prestaties vergelijkbaar zijn met DeepSeek 67B, met slechts 28,5% (mogelijk zelfs 18,2%) van de rekenkracht.

English

In the era of large language models, Mixture-of-Experts (MoE) is a promising architecture for managing computational costs when scaling up model parameters. However, conventional MoE architectures like GShard, which activate the top-K out of N experts, face challenges in ensuring expert specialization, i.e. each expert acquires non-overlapping and focused knowledge. In response, we propose the DeepSeekMoE architecture towards ultimate expert specialization. It involves two principal strategies: (1) finely segmenting the experts into mN ones and activating mK from them, allowing for a more flexible combination of activated experts; (2) isolating K_s experts as shared ones, aiming at capturing common knowledge and mitigating redundancy in routed experts. Starting from a modest scale with 2B parameters, we demonstrate that DeepSeekMoE 2B achieves comparable performance with GShard 2.9B, which has 1.5 times the expert parameters and computation. In addition, DeepSeekMoE 2B nearly approaches the performance of its dense counterpart with the same number of total parameters, which set the upper bound of MoE models. Subsequently, we scale up DeepSeekMoE to 16B parameters and show that it achieves comparable performance with LLaMA2 7B, with only about 40% of computations. Further, our preliminary efforts to scale up DeepSeekMoE to 145B parameters consistently validate its substantial advantages over the GShard architecture, and show its performance comparable with DeepSeek 67B, using only 28.5% (maybe even 18.2%) of computations.

DeepSeekMoE: Op Weg naar Ultieme Expertspecialisatie in Mixture-of-Experts Taalmodellen

DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models

Samenvatting

Support