MoE-ViE: 효율적인 이미지 및 비디오 이해를 위한 전문가 혼합 비전 인코더

초록

비전 인코더는 비전-언어 모델의 핵심 구성 요소이며, 그 용량을 효과적으로 확장하면 성능이 향상됩니다. 그러나 밀집(dense) 확장은 계산 비용과 추론 지연 시간을 증가시킵니다. 전문가 혼합(Mixture-of-Experts, MoE) 아키텍처는 LLM에서 효율적인 확장을 가능하게 한 매력적인 대안이지만, CLIP 스타일 비전 인코더를 위한 MoE 설계 공간은 최신 기술 수준(SOTA)에서 아직 충분히 탐구되지 않았습니다. 본 연구에서는 비전 인코더 확장을 위한 MoE 설계를 체계적으로 연구하고, 세밀한(fine-grained) MoE 토폴로지가 밀집 및 표준 MoE 대비 상당한 성능 향상을 제공함을 발견했습니다. 또한 더 나은 전문가 활용을 위해 보조 손실 없는(auxiliary-loss-free) 균형 조정 변형을 제안하고, 추론 지연 시간 오버헤드를 완화하기 위해 특화된 MoE 커널을 설계했습니다. 이미지 지식을 보존하면서 비디오 성능을 향상시키기 위해, 새로운 동결(freezing) 메커니즘과 결합된 프레임 수준 증류(frame-level distillation)를 도입했습니다. 우리는 다양한 규모에 걸쳐 일련의 MoE 비전 인코더(MoE-ViE)를 사전 학습했으며, 모두 밀집 대응 모델을 일관되게 능가했습니다. 우리의 최대 모델은 자체 크기의 1.7배에 달하는 SOTA 인코더의 제로샷 성능을 76%의 지연 시간으로 달성합니다. LLM과 정렬되었을 때, MoE-ViE는 최대 5배 더 많은 활성화 파라미터를 가진 인코더를 포함하여 비교 대상 모든 인코더를 이미지 및 비디오 벤치마크에서 능가합니다. 코드는 https://github.com/facebookresearch/moe_vie에서 확인할 수 있습니다.

English

Vision encoders are a critical component of vision-language models, and scaling their capacity effectively improves performance. However, dense scaling increases compute cost and inference latency. Mixture-of-Experts (MoE) architectures offer a compelling alternative, having enabled efficient scaling in LLMs, yet the MoE design space for CLIP-style vision encoders remains underexplored at State-of-the-Art (SOTA) levels. In this work, we systematically study MoE designs for vision encoder scaling and find that fine-grained MoE topologies yield substantial gains over both dense and standard MoE counterparts. We further propose an auxiliary-loss-free balancing variant for better expert utilization, and design a specialized MoE kernel to mitigate inference latency overhead. To enhance video capabilities while preserving image knowledge, we introduce frame-level distillation paired with a novel freezing mechanism. We pretrain a series of Mixture-of-Experts Vision Encoders (MoE-ViE) across a range of sizes, all consistently outperforming their dense counterparts. Our largest model matches the zero-shot performance of a SOTA encoder 1.7x its size at 76% of its latency. When aligned with an LLM, MoE-ViE surpasses all compared encoders on image and video benchmarks, including those with up to 5x more activated parameters. Code is available at https://github.com/facebookresearch/moe_vie.