MoTE: Mezcla de Expertos Ternarios para Modelos Multimodales Grandes con Eficiencia de Memoria

MoTE: Mixture of Ternary Experts for Memory-efficient Large Multimodal Models

June 17, 2025

Autores: Hongyu Wang, Jiayu Xu, Ruiping Wang, Yan Feng, Yitao Zhai, Peng Pei, Xunliang Cai, Xilin Chen

cs.AI

Resumen

Los modelos grandes multimodales de Mezcla de Expertos (MoEs, por sus siglas en inglés) escalan eficazmente el tamaño del modelo para mejorar el rendimiento mientras mantienen parámetros activos fijos. Sin embargo, trabajos previos utilizaron principalmente expertos de precisión completa durante el reciclado disperso. Aunque muestran un rendimiento superior en tareas finales, la gran cantidad de expertos introduce una mayor huella de memoria, lo que plantea desafíos significativos para su implementación en dispositivos de borde. En este trabajo, proponemos MoTE, un enfoque escalable y eficiente en memoria para entrenar modelos de Mezcla de Expertos Ternarios a partir de un punto de control denso. En lugar de entrenar menos expertos de alta precisión, proponemos entrenar más expertos de baja precisión durante el reciclado. Específicamente, utilizamos la red neuronal preentrenada (FFN) como un experto compartido y entrenamos expertos enrutados ternarios con parámetros en {-1, 0, 1}. Experimentos extensos muestran que nuestro enfoque tiene una tendencia de escalado prometedora junto con el tamaño del modelo. MoTE logra un rendimiento comparable al modelo de referencia de precisión completa MoE-LLaVA, mientras ofrece una menor huella de memoria. Además, nuestro enfoque es compatible con métodos de cuantización posteriores al entrenamiento, y la ventaja se amplía aún más cuando la restricción de memoria es menor. Dada la misma huella de memoria de expertos de 3.4 GB y combinada con cuantización posterior al entrenamiento, MoTE supera a MoE-LLaVA con una ganancia del 4.3% en precisión promedio en tareas finales, demostrando su efectividad y potencial para dispositivos con restricciones de memoria.

English

Large multimodal Mixture-of-Experts (MoEs) effectively scale the model size to boost performance while maintaining fixed active parameters. However, previous works primarily utilized full-precision experts during sparse up-cycling. Despite they show superior performance on end tasks, the large amount of experts introduces higher memory footprint, which poses significant challenges for the deployment on edge devices. In this work, we propose MoTE, a scalable and memory-efficient approach to train Mixture-of-Ternary-Experts models from dense checkpoint. Instead of training fewer high-precision experts, we propose to train more low-precision experts during up-cycling. Specifically, we use the pre-trained FFN as a shared expert and train ternary routed experts with parameters in {-1, 0, 1}. Extensive experiments show that our approach has promising scaling trend along model size. MoTE achieves comparable performance to full-precision baseline MoE-LLaVA while offering lower memory footprint. Furthermore, our approach is compatible with post-training quantization methods and the advantage further amplifies when memory-constraint goes lower. Given the same amount of expert memory footprint of 3.4GB and combined with post-training quantization, MoTE outperforms MoE-LLaVA by a gain of 4.3% average accuracy on end tasks, demonstrating its effectiveness and potential for memory-constrained devices.