MoTE : Mélange d'Experts Ternaires pour des Modèles Multimodaux de Grande Taille à Faible Consommation Mémoire

MoTE: Mixture of Ternary Experts for Memory-efficient Large Multimodal Models

June 17, 2025

Auteurs: Hongyu Wang, Jiayu Xu, Ruiping Wang, Yan Feng, Yitao Zhai, Peng Pei, Xunliang Cai, Xilin Chen

cs.AI

Résumé

Les grands modèles multimodaux de type Mixture-of-Experts (MoEs) permettent d'augmenter efficacement la taille du modèle pour améliorer les performances tout en maintenant un nombre fixe de paramètres actifs. Cependant, les travaux précédents utilisaient principalement des experts en précision complète lors du recyclage parcimonieux. Bien qu'ils démontrent des performances supérieures sur les tâches finales, le grand nombre d'experts entraîne une empreinte mémoire plus élevée, ce qui pose des défis importants pour le déploiement sur les appareils embarqués. Dans ce travail, nous proposons MoTE, une approche évolutive et économe en mémoire pour entraîner des modèles de Mixture-of-Ternary-Experts à partir d'un point de contrôle dense. Au lieu d'entraîner moins d'experts en haute précision, nous proposons d'entraîner davantage d'experts en basse précision lors du recyclage. Plus précisément, nous utilisons le FFN pré-entraîné comme expert partagé et entraînons des experts routés ternaires avec des paramètres dans {-1, 0, 1}. Des expériences approfondies montrent que notre approche présente une tendance prometteuse à l'échelle avec la taille du modèle. MoTE atteint des performances comparables à la base de référence en précision complète MoE-LLaVA tout en offrant une empreinte mémoire plus faible. De plus, notre approche est compatible avec les méthodes de quantification post-entraînement, et l'avantage s'amplifie davantage lorsque la contrainte mémoire diminue. Avec une empreinte mémoire d'expert fixée à 3,4 Go et combinée à la quantification post-entraînement, MoTE surpasse MoE-LLaVA avec un gain de 4,3 % en précision moyenne sur les tâches finales, démontrant ainsi son efficacité et son potentiel pour les appareils à mémoire limitée.

English

Large multimodal Mixture-of-Experts (MoEs) effectively scale the model size to boost performance while maintaining fixed active parameters. However, previous works primarily utilized full-precision experts during sparse up-cycling. Despite they show superior performance on end tasks, the large amount of experts introduces higher memory footprint, which poses significant challenges for the deployment on edge devices. In this work, we propose MoTE, a scalable and memory-efficient approach to train Mixture-of-Ternary-Experts models from dense checkpoint. Instead of training fewer high-precision experts, we propose to train more low-precision experts during up-cycling. Specifically, we use the pre-trained FFN as a shared expert and train ternary routed experts with parameters in {-1, 0, 1}. Extensive experiments show that our approach has promising scaling trend along model size. MoTE achieves comparable performance to full-precision baseline MoE-LLaVA while offering lower memory footprint. Furthermore, our approach is compatible with post-training quantization methods and the advantage further amplifies when memory-constraint goes lower. Given the same amount of expert memory footprint of 3.4GB and combined with post-training quantization, MoTE outperforms MoE-LLaVA by a gain of 4.3% average accuracy on end tasks, demonstrating its effectiveness and potential for memory-constrained devices.