VLM2Vec: 大規模なマルチモーダル埋め込みタスクのためのビジョン言語モデルのトレーニング

VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks

October 7, 2024

著者: Ziyan Jiang, Rui Meng, Xinyi Yang, Semih Yavuz, Yingbo Zhou, Wenhu Chen

cs.AI

要旨

埋め込みモデルは、意味の類似性、情報検索、クラスタリングなどのさまざまな下流タスクを可能にする上で重要である。最近、タスク全般に汎用的に適用できるテキスト埋め込みモデルの開発に関心が高まっており（例：MTEB）、その重要性にもかかわらず、汎用的なマルチモーダル埋め込みモデルの学習の進展は比較的遅れている。本研究では、幅広い下流タスクを処理できる汎用埋め込みを構築する可能性を探求することを目指す。当該研究の貢献は2つあります：（1）MMEB（Massive Multimodal Embedding Benchmark）、4つのメタタスク（分類、ビジュアル質問応答、マルチモーダル検索、ビジュアルグラウンディング）と20のトレーニングデータセットと16の評価データセットを含む36のデータセットをカバーするもの、および（2）VLM2Vec（Vision-Language Model -> Vector）、MMEBでのトレーニングを通じて任意の最先端ビジョン言語モデルを埋め込みモデルに変換する対照的なトレーニングフレームワーク。CLIPやBLIPなどの従来のモデルとは異なり、VLM2Vecは、タスクの指示に基づいて画像とテキストの任意の組み合わせを処理し、固定次元のベクトルを生成できる。Phi-3.5-V上で一連のVLM2Vecモデルを構築し、MMEBの評価分割で評価する。結果は、当該モデルがMMEBのイン・ディストリビューションおよびアウト・オブ・ディストリビューションデータセットの両方で、既存のマルチモーダル埋め込みモデルに対して10%から20%の絶対平均改善を達成したことを示している。

English

Embedding models have been crucial in enabling various downstream tasks such as semantic similarity, information retrieval, and clustering. Recently, there has been a surge of interest in developing universal text embedding models that can generalize across tasks (e.g., MTEB). However, progress in learning universal multimodal embedding models has been relatively slow despite their importance. In this work, we aim to explore the potential for building universal embeddings capable of handling a wide range of downstream tasks. Our contributions are twofold: (1) MMEB (Massive Multimodal Embedding Benchmark), which covers 4 meta-tasks (i.e. classification, visual question answering, multimodal retrieval, and visual grounding) and 36 datasets, including 20 training and 16 evaluation datasets, and (2) VLM2Vec (Vision-Language Model -> Vector), a contrastive training framework that converts any state-of-the-art vision-language model into an embedding model via training on MMEB. Unlike previous models such as CLIP and BLIP, VLM2Vec can process any combination of images and text to generate a fixed-dimensional vector based on task instructions. We build a series of VLM2Vec models on Phi-3.5-V and evaluate them on MMEB's evaluation split. Our results show that \model achieves an absolute average improvement of 10% to 20% over existing multimodal embedding models on both in-distribution and out-of-distribution datasets in MMEB.