VLM2Vec-V2: 動画、画像、視覚的文書のためのマルチモーダル埋め込みの進化

要旨

マルチモーダル埋め込みモデルは、セマンティック類似性、情報検索、クラスタリングなど、さまざまなモダリティにわたる下流タスクを可能にする上で重要な役割を果たしてきました。しかし、VLM2Vec、E5-V、GMEなどの既存のマルチモーダル埋め込みモデルは、主に自然画像に焦点を当てており、ビデオや視覚的文書などの他の視覚形式に対するサポートは限られています。これにより、AIエージェント、マルチモーダル検索とレコメンデーション、検索拡張生成（RAG）などの現実世界のシナリオでの適用性が制限されています。このギャップを埋めるため、私たちはVLM2Vec-V2を提案します。これは、多様な視覚形式にわたる埋め込みを学習するための統一フレームワークです。まず、MMEB-V2を導入します。これは、MMEBを拡張した包括的なベンチマークで、視覚的文書検索、ビデオ検索、時間的グラウンディング、ビデオ分類、ビデオ質問応答という5つの新しいタスクタイプを追加し、テキスト、画像、ビデオ、視覚的文書の入力をカバーします。次に、テキスト、画像、ビデオ、視覚的文書の入力をサポートする汎用埋め込みモデルであるVLM2Vec-V2を学習します。大規模な実験により、VLM2Vec-V2が新たに導入されたビデオと文書検索タスクで強力な性能を発揮するだけでなく、元の画像ベンチマークにおいても従来のベースラインを上回ることが示されました。広範な評価を通じて、私たちの研究は、さまざまなマルチモーダル埋め込みモデルの汎用性に関する洞察を提供し、統一された埋め込み学習の効果的な戦略を強調し、研究と現実世界の設定の両方において、よりスケーラブルで適応可能な表現学習の基盤を築きます。

English

Multimodal embedding models have been crucial in enabling various downstream tasks such as semantic similarity, information retrieval, and clustering over different modalities. However, existing multimodal embeddings like VLM2Vec, E5-V, GME are predominantly focused on natural images, with limited support for other visual forms such as videos and visual documents. This restricts their applicability in real-world scenarios, including AI agents, multi-modal search and recommendation, and retrieval-augmented generation (RAG). To close this gap, we propose VLM2Vec-V2, a unified framework for learning embeddings across diverse visual forms. First, we introduce MMEB-V2, a comprehensive benchmark that extends MMEB with five new task types: visual document retrieval, video retrieval, temporal grounding, video classification and video question answering - spanning text, image, video, and visual document inputs. Next, we train VLM2Vec-V2, a general-purpose embedding model that supports text, image, video, and visual document inputs. Extensive experiments show that VLM2Vec-V2 achieves strong performance not only on the newly introduced video and document retrieval tasks, but also improves over prior baselines on the original image benchmarks. Through extensive evaluation, our study offers insights into the generalizability of various multimodal embedding models and highlights effective strategies for unified embedding learning, laying the groundwork for more scalable and adaptable representation learning in both research and real-world settings.

VLM2Vec-V2: 動画、画像、視覚的文書のためのマルチモーダル埋め込みの進化

VLM2Vec-V2: Advancing Multimodal Embedding for Videos, Images, and Visual Documents

要旨

Support