MoE-ViE: 効率的な画像・動画理解のための混合エキスパート視覚エンコーダ

要旨

ビジョンエンコーダは視覚言語モデルにとって重要な構成要素であり、その容量を効果的にスケーリングすることで性能が向上する。しかし、Denseモデルのスケーリングは計算コストと推論レイテンシを増大させる。Mixture-of-Experts（MoE）アーキテクチャは、LLMにおいて効率的なスケーリングを可能にしてきた有力な代替手段であるが、CLIPスタイルのビジョンエンコーダにおけるMoEの設計空間は、最先端（SOTA）レベルでは未だ十分に探索されていない。本研究では、ビジョンエンコーダのスケーリングのためのMoE設計を体系的に調査し、細粒度のMoEトポロジーが、Denseモデルおよび標準MoEモデルの両方と比較して大きな利得をもたらすことを見出した。さらに、エキスパートの利用率を向上させるために補助損失を用いないバランシング変種を提案し、推論レイテンシのオーバーヘッドを軽減する専用MoEカーネルを設計する。画像知識を保持しつつ映像能力を向上させるために、新しい凍結メカニズムと組み合わせたフレームレベルの蒸留を導入する。我々は、一連のMixture-of-Experts Vision Encoders（MoE-ViE）を様々なサイズで事前学習し、そのすべてが対応するDenseモデルを一貫して上回った。最大モデルは、その1.7倍のサイズを持つSOTAエンコーダのゼロショット性能を、そのエンコーダの76%のレイテンシで達成する。LLMと組み合わせた場合、MoE-ViEは、最大で5倍多くの活性化パラメータを持つものを含む、比較したすべてのエンコーダを画像およびビデオベンチマークで上回る。コードはhttps://github.com/facebookresearch/moe_vieで公開している。

English

Vision encoders are a critical component of vision-language models, and scaling their capacity effectively improves performance. However, dense scaling increases compute cost and inference latency. Mixture-of-Experts (MoE) architectures offer a compelling alternative, having enabled efficient scaling in LLMs, yet the MoE design space for CLIP-style vision encoders remains underexplored at State-of-the-Art (SOTA) levels. In this work, we systematically study MoE designs for vision encoder scaling and find that fine-grained MoE topologies yield substantial gains over both dense and standard MoE counterparts. We further propose an auxiliary-loss-free balancing variant for better expert utilization, and design a specialized MoE kernel to mitigate inference latency overhead. To enhance video capabilities while preserving image knowledge, we introduce frame-level distillation paired with a novel freezing mechanism. We pretrain a series of Mixture-of-Experts Vision Encoders (MoE-ViE) across a range of sizes, all consistently outperforming their dense counterparts. Our largest model matches the zero-shot performance of a SOTA encoder 1.7x its size at 76% of its latency. When aligned with an LLM, MoE-ViE surpasses all compared encoders on image and video benchmarks, including those with up to 5x more activated parameters. Code is available at https://github.com/facebookresearch/moe_vie.