MoCa: モダリティを考慮した継続的事前学習による双方向マルチモーダル埋め込みの改善

MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings

June 29, 2025

著者: Haonan Chen, Hong Liu, Yuping Luo, Liang Wang, Nan Yang, Furu Wei, Zhicheng Dou

cs.AI

要旨

因果的視覚言語モデル（VLM）を基盤としたマルチモーダル埋め込みモデルは、様々なタスクで有望な成果を示しています。しかし、現在のアプローチには3つの主要な課題があります。まず、VLMバックボーンにおける因果的アテンションの使用は、埋め込みタスクに対して最適ではありません。次に、コントラスティブ学習のための高品質なラベル付きペアデータへの依存によるスケーラビリティの問題。そして、トレーニング目的とデータの多様性が限られていることです。これらの課題を解決するため、我々はMoCaを提案します。これは、事前学習済みVLMを効果的な双方向マルチモーダル埋め込みモデルに変換するための2段階フレームワークです。第1段階である「モダリティ認識型継続事前学習」では、テキストと画像の交互入力を同時にノイズ除去する共同再構成目標を導入し、双方向の文脈認識推論を強化します。第2段階の「異種コントラスティブ微調整」では、単純な画像-キャプションペアを超えた多様で意味的に豊富なマルチモーダルデータを活用し、汎化とアラインメントを向上させます。我々の手法は、継続事前学習を通じて双方向アテンションを導入し、共同再構成目標により大規模な未ラベルデータセットで効果的にスケールし、多様なマルチモーダルデータを活用して表現のロバスト性を高めることで、前述の課題に対処します。実験結果は、MoCaがMMEBおよびViDoRe-v2ベンチマークで一貫して性能を向上させ、新たな最先端の結果を達成し、MMEBにおいてモデルサイズとトレーニングデータの両方で強いスケーラビリティを示すことを実証しています。

English

Multimodal embedding models, built upon causal Vision Language Models (VLMs), have shown promise in various tasks. However, current approaches face three key limitations: the use of causal attention in VLM backbones is suboptimal for embedding tasks; scalability issues due to reliance on high-quality labeled paired data for contrastive learning; and limited diversity in training objectives and data. To address these issues, we propose MoCa, a two-stage framework for transforming pre-trained VLMs into effective bidirectional multimodal embedding models. The first stage, Modality-aware Continual Pre-training, introduces a joint reconstruction objective that simultaneously denoises interleaved text and image inputs, enhancing bidirectional context-aware reasoning. The second stage, Heterogeneous Contrastive Fine-tuning, leverages diverse, semantically rich multimodal data beyond simple image-caption pairs to enhance generalization and alignment. Our method addresses the stated limitations by introducing bidirectional attention through continual pre-training, scaling effectively with massive unlabeled datasets via joint reconstruction objectives, and utilizing diverse multimodal data for enhanced representation robustness. Experiments demonstrate that MoCa consistently improves performance across MMEB and ViDoRe-v2 benchmarks, achieving new state-of-the-art results, and exhibits strong scalability with both model size and training data on MMEB.