MoTE: Miscela di Esperti Ternari per Modelli Multimodali di Grande Scala Efficienti in Memoria

MoTE: Mixture of Ternary Experts for Memory-efficient Large Multimodal Models

June 17, 2025

Autori: Hongyu Wang, Jiayu Xu, Ruiping Wang, Yan Feng, Yitao Zhai, Peng Pei, Xunliang Cai, Xilin Chen

cs.AI

Abstract

I grandi modelli multimodali Mixture-of-Experts (MoE) scalano efficacemente le dimensioni del modello per migliorare le prestazioni mantenendo fissi i parametri attivi. Tuttavia, i lavori precedenti hanno principalmente utilizzato esperti a precisione completa durante il riciclo sparso. Nonostante mostrino prestazioni superiori nei task finali, il gran numero di esperti introduce un maggiore utilizzo di memoria, il che pone sfide significative per il deployment su dispositivi edge. In questo lavoro, proponiamo MoTE, un approccio scalabile ed efficiente in termini di memoria per addestrare modelli Mixture-of-Ternary-Experts partendo da checkpoint densi. Invece di addestrare un numero inferiore di esperti ad alta precisione, proponiamo di addestrare un numero maggiore di esperti a bassa precisione durante il riciclo. Nello specifico, utilizziamo il FFN pre-addestrato come esperto condiviso e addestriamo esperti instradati ternari con parametri in {-1, 0, 1}. Esperimenti estensivi dimostrano che il nostro approccio presenta una promettente tendenza di scalabilità rispetto alle dimensioni del modello. MoTE raggiunge prestazioni comparabili al baseline MoE-LLaVA a precisione completa, offrendo al contempo un minore utilizzo di memoria. Inoltre, il nostro approccio è compatibile con i metodi di quantizzazione post-addestramento e il vantaggio si amplifica ulteriormente quando i vincoli di memoria si riducono. Con lo stesso utilizzo di memoria degli esperti pari a 3,4 GB e combinato con la quantizzazione post-addestramento, MoTE supera MoE-LLaVA con un guadagno medio di accuratezza del 4,3% sui task finali, dimostrando la sua efficacia e potenziale per dispositivi con vincoli di memoria.

English

Large multimodal Mixture-of-Experts (MoEs) effectively scale the model size to boost performance while maintaining fixed active parameters. However, previous works primarily utilized full-precision experts during sparse up-cycling. Despite they show superior performance on end tasks, the large amount of experts introduces higher memory footprint, which poses significant challenges for the deployment on edge devices. In this work, we propose MoTE, a scalable and memory-efficient approach to train Mixture-of-Ternary-Experts models from dense checkpoint. Instead of training fewer high-precision experts, we propose to train more low-precision experts during up-cycling. Specifically, we use the pre-trained FFN as a shared expert and train ternary routed experts with parameters in {-1, 0, 1}. Extensive experiments show that our approach has promising scaling trend along model size. MoTE achieves comparable performance to full-precision baseline MoE-LLaVA while offering lower memory footprint. Furthermore, our approach is compatible with post-training quantization methods and the advantage further amplifies when memory-constraint goes lower. Given the same amount of expert memory footprint of 3.4GB and combined with post-training quantization, MoTE outperforms MoE-LLaVA by a gain of 4.3% average accuracy on end tasks, demonstrating its effectiveness and potential for memory-constrained devices.