MoTE: メモリ効率の良い大規模マルチモーダルモデルのための三値エキスパートの混合

要旨

大規模マルチモーダルMixture-of-Experts（MoE）は、アクティブなパラメータ数を固定したままモデルサイズを効果的に拡大し、性能を向上させます。しかし、従来の研究では主に完全精度のエキスパートをスパースアップサイクリング中に使用していました。これらはエンドタスクで優れた性能を示すものの、大量のエキスパートが高いメモリフットプリントを引き起こし、エッジデバイスへの展開に大きな課題を突きつけます。本研究では、Mixture-of-Ternary-Expertsモデルを高密度チェックポイントからトレーニングするためのスケーラブルでメモリ効率の良いアプローチであるMoTEを提案します。少数の高精度エキスパートをトレーニングする代わりに、アップサイクリング中により多くの低精度エキスパートをトレーニングすることを提案します。具体的には、事前学習済みのFFNを共有エキスパートとして使用し、パラメータが{-1, 0, 1}の三元ルーティングエキスパートをトレーニングします。広範な実験により、我々のアプローチがモデルサイズに沿って有望なスケーリングトレンドを示すことが明らかになりました。MoTEは、完全精度のベースラインであるMoE-LLaVAと同等の性能を達成しつつ、より低いメモリフットプリントを提供します。さらに、我々のアプローチはポストトレーニング量子化手法と互換性があり、メモリ制約がさらに厳しくなるほどその利点が増幅されます。3.4GBのエキスパートメモリフットプリントを同じ量に保ち、ポストトレーニング量子化と組み合わせた場合、MoTEはMoE-LLaVAをエンドタスクの平均精度で4.3%上回り、メモリ制約のあるデバイスにおけるその有効性と潜在能力を実証しています。

English

Large multimodal Mixture-of-Experts (MoEs) effectively scale the model size to boost performance while maintaining fixed active parameters. However, previous works primarily utilized full-precision experts during sparse up-cycling. Despite they show superior performance on end tasks, the large amount of experts introduces higher memory footprint, which poses significant challenges for the deployment on edge devices. In this work, we propose MoTE, a scalable and memory-efficient approach to train Mixture-of-Ternary-Experts models from dense checkpoint. Instead of training fewer high-precision experts, we propose to train more low-precision experts during up-cycling. Specifically, we use the pre-trained FFN as a shared expert and train ternary routed experts with parameters in {-1, 0, 1}. Extensive experiments show that our approach has promising scaling trend along model size. MoTE achieves comparable performance to full-precision baseline MoE-LLaVA while offering lower memory footprint. Furthermore, our approach is compatible with post-training quantization methods and the advantage further amplifies when memory-constraint goes lower. Given the same amount of expert memory footprint of 3.4GB and combined with post-training quantization, MoTE outperforms MoE-LLaVA by a gain of 4.3% average accuracy on end tasks, demonstrating its effectiveness and potential for memory-constrained devices.

MoTE: メモリ効率の良い大規模マルチモーダルモデルのための三値エキスパートの混合

MoTE: Mixture of Ternary Experts for Memory-efficient Large Multimodal Models

要旨

Support