MoTE: Mischung ternärer Experten für speichereffiziente große multimodale Modelle

MoTE: Mixture of Ternary Experts for Memory-efficient Large Multimodal Models

June 17, 2025

Autoren: Hongyu Wang, Jiayu Xu, Ruiping Wang, Yan Feng, Yitao Zhai, Peng Pei, Xunliang Cai, Xilin Chen

cs.AI

Zusammenfassung

Große multimodale Mixture-of-Experts (MoEs) skalieren die Modellgröße effektiv, um die Leistung zu steigern, während die aktiven Parameter konstant gehalten werden. Bisherige Arbeiten nutzten jedoch hauptsächlich volle Präzision der Experten während des sparsamen Up-Cyclings. Obwohl sie eine überlegene Leistung bei Endaufgaben zeigen, führt die große Anzahl von Experten zu einem höheren Speicherbedarf, was erhebliche Herausforderungen für die Bereitstellung auf Edge-Geräten darstellt. In dieser Arbeit schlagen wir MoTE vor, einen skalierbaren und speichereffizienten Ansatz zur Schulung von Mixture-of-Ternary-Experts-Modellen aus einem dichten Checkpoint. Anstatt weniger hochpräzise Experten zu trainieren, schlagen wir vor, mehr niedrigpräzise Experten während des Up-Cyclings zu trainieren. Konkret verwenden wir das vortrainierte FFN als gemeinsamen Experten und trainieren ternäre geroutete Experten mit Parametern in {-1, 0, 1}. Umfangreiche Experimente zeigen, dass unser Ansatz eine vielversprechende Skalierungstendenz entlang der Modellgröße aufweist. MoTE erreicht eine vergleichbare Leistung wie der volle Präzisions-Baseline MoE-LLaVA, bietet jedoch einen geringeren Speicherbedarf. Darüber hinaus ist unser Ansatz kompatibel mit Post-Training-Quantisierungsmethoden, und der Vorteil verstärkt sich weiter, wenn die Speicherbeschränkung geringer wird. Bei einem identischen Speicherbedarf der Experten von 3,4 GB und in Kombination mit Post-Training-Quantisierung übertrifft MoTE MoE-LLaVA mit einem Gewinn von 4,3 % durchschnittlicher Genauigkeit bei Endaufgaben, was seine Effektivität und sein Potenzial für speicherbeschränkte Geräte demonstriert.

English

Large multimodal Mixture-of-Experts (MoEs) effectively scale the model size to boost performance while maintaining fixed active parameters. However, previous works primarily utilized full-precision experts during sparse up-cycling. Despite they show superior performance on end tasks, the large amount of experts introduces higher memory footprint, which poses significant challenges for the deployment on edge devices. In this work, we propose MoTE, a scalable and memory-efficient approach to train Mixture-of-Ternary-Experts models from dense checkpoint. Instead of training fewer high-precision experts, we propose to train more low-precision experts during up-cycling. Specifically, we use the pre-trained FFN as a shared expert and train ternary routed experts with parameters in {-1, 0, 1}. Extensive experiments show that our approach has promising scaling trend along model size. MoTE achieves comparable performance to full-precision baseline MoE-LLaVA while offering lower memory footprint. Furthermore, our approach is compatible with post-training quantization methods and the advantage further amplifies when memory-constraint goes lower. Given the same amount of expert memory footprint of 3.4GB and combined with post-training quantization, MoTE outperforms MoE-LLaVA by a gain of 4.3% average accuracy on end tasks, demonstrating its effectiveness and potential for memory-constrained devices.