MoTE: Смесь троичных экспертов для энергоэффективных крупных мультимодальных моделей

MoTE: Mixture of Ternary Experts for Memory-efficient Large Multimodal Models

June 17, 2025

Авторы: Hongyu Wang, Jiayu Xu, Ruiping Wang, Yan Feng, Yitao Zhai, Peng Pei, Xunliang Cai, Xilin Chen

cs.AI

Аннотация

Крупные мультимодальные модели Mixture-of-Experts (MoE) эффективно масштабируют размер модели для повышения производительности, сохраняя при этом фиксированное количество активных параметров. Однако в предыдущих работах в основном использовались эксперты с полной точностью в процессе разреженного апсайклинга. Несмотря на их превосходную производительность в конечных задачах, большое количество экспертов приводит к увеличению объема памяти, что создает значительные трудности для развертывания на устройствах с ограниченными ресурсами. В данной работе мы предлагаем MoTE, масштабируемый и эффективный по памяти подход для обучения моделей Mixture-of-Ternary-Experts из плотного чекпоинта. Вместо обучения меньшего количества экспертов с высокой точностью мы предлагаем обучать больше экспертов с низкой точностью в процессе апсайклинга. В частности, мы используем предобученный FFN в качестве общего эксперта и обучаем тернарных маршрутизируемых экспертов с параметрами из множества {-1, 0, 1}. Многочисленные эксперименты показывают, что наш подход демонстрирует перспективную тенденцию масштабирования с увеличением размера модели. MoTE достигает сопоставимой производительности с базовой моделью MoE-LLaVA с полной точностью, при этом требуя меньшего объема памяти. Более того, наш подход совместим с методами посттренировочного квантования, и его преимущество усиливается при снижении ограничений по памяти. При одинаковом объеме памяти для экспертов в 3,4 ГБ и в сочетании с посттренировочным квантованием MoTE превосходит MoE-LLaVA с приростом средней точности на 4,3% в конечных задачах, что подтверждает его эффективность и потенциал для устройств с ограниченной памятью.

English

Large multimodal Mixture-of-Experts (MoEs) effectively scale the model size to boost performance while maintaining fixed active parameters. However, previous works primarily utilized full-precision experts during sparse up-cycling. Despite they show superior performance on end tasks, the large amount of experts introduces higher memory footprint, which poses significant challenges for the deployment on edge devices. In this work, we propose MoTE, a scalable and memory-efficient approach to train Mixture-of-Ternary-Experts models from dense checkpoint. Instead of training fewer high-precision experts, we propose to train more low-precision experts during up-cycling. Specifically, we use the pre-trained FFN as a shared expert and train ternary routed experts with parameters in {-1, 0, 1}. Extensive experiments show that our approach has promising scaling trend along model size. MoTE achieves comparable performance to full-precision baseline MoE-LLaVA while offering lower memory footprint. Furthermore, our approach is compatible with post-training quantization methods and the advantage further amplifies when memory-constraint goes lower. Given the same amount of expert memory footprint of 3.4GB and combined with post-training quantization, MoTE outperforms MoE-LLaVA by a gain of 4.3% average accuracy on end tasks, demonstrating its effectiveness and potential for memory-constrained devices.