MoTE: Mengsel van Ternaire Experts voor Geheugenefficiënte Grote Multimodale Modellen

MoTE: Mixture of Ternary Experts for Memory-efficient Large Multimodal Models

June 17, 2025

Auteurs: Hongyu Wang, Jiayu Xu, Ruiping Wang, Yan Feng, Yitao Zhai, Peng Pei, Xunliang Cai, Xilin Chen

cs.AI

Samenvatting

Grote multimodale Mixture-of-Experts (MoEs) schalen het modelformaat effectief op om de prestaties te verbeteren terwijl het aantal actieve parameters constant blijft. Eerdere werken maakten echter voornamelijk gebruik van experts met volledige precisie tijdens sparse up-cycling. Hoewel ze superieure prestaties laten zien op eindtaken, introduceert het grote aantal experts een hoger geheugengebruik, wat aanzienlijke uitdagingen oplevert voor implementatie op edge-apparaten. In dit werk stellen we MoTE voor, een schaalbare en geheugenefficiënte aanpak om Mixture-of-Ternary-Experts-modellen te trainen vanuit een dicht checkpoint. In plaats van minder experts met hoge precisie te trainen, stellen we voor om meer experts met lage precisie te trainen tijdens up-cycling. Specifiek gebruiken we het vooraf getrainde FFN als een gedeelde expert en trainen we ternair gerouteerde experts met parameters in {-1, 0, 1}. Uitgebreide experimenten tonen aan dat onze aanpak een veelbelovende schaalbaarheidstrend vertoont naarmate het modelformaat toeneemt. MoTE bereikt vergelijkbare prestaties als de baseline MoE-LLaVA met volledige precisie, terwijl het een lager geheugengebruik biedt. Bovendien is onze aanpak compatibel met post-training kwantiseringsmethoden, en het voordeel wordt verder versterkt wanneer het geheugenbeperking lager wordt. Met hetzelfde geheugengebruik van 3,4GB voor experts en gecombineerd met post-training kwantisering, presteert MoTE beter dan MoE-LLaVA met een winst van 4,3% gemiddelde nauwkeurigheid op eindtaken, wat de effectiviteit en het potentieel voor geheugenbeperkte apparaten aantoont.

English

Large multimodal Mixture-of-Experts (MoEs) effectively scale the model size to boost performance while maintaining fixed active parameters. However, previous works primarily utilized full-precision experts during sparse up-cycling. Despite they show superior performance on end tasks, the large amount of experts introduces higher memory footprint, which poses significant challenges for the deployment on edge devices. In this work, we propose MoTE, a scalable and memory-efficient approach to train Mixture-of-Ternary-Experts models from dense checkpoint. Instead of training fewer high-precision experts, we propose to train more low-precision experts during up-cycling. Specifically, we use the pre-trained FFN as a shared expert and train ternary routed experts with parameters in {-1, 0, 1}. Extensive experiments show that our approach has promising scaling trend along model size. MoTE achieves comparable performance to full-precision baseline MoE-LLaVA while offering lower memory footprint. Furthermore, our approach is compatible with post-training quantization methods and the advantage further amplifies when memory-constraint goes lower. Given the same amount of expert memory footprint of 3.4GB and combined with post-training quantization, MoTE outperforms MoE-LLaVA by a gain of 4.3% average accuracy on end tasks, demonstrating its effectiveness and potential for memory-constrained devices.