MoCa: Modalitätsbewusstes kontinuierliches Vortraining für bessere bidirektionale multimodale Einbettungen

MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings

June 29, 2025

Autoren: Haonan Chen, Hong Liu, Yuping Luo, Liang Wang, Nan Yang, Furu Wei, Zhicheng Dou

cs.AI

Zusammenfassung

Multimodale Embedding-Modelle, die auf kausalen Vision-Language-Modellen (VLMs) basieren, haben in verschiedenen Aufgaben vielversprechende Ergebnisse gezeigt. Allerdings weisen aktuelle Ansätze drei wesentliche Einschränkungen auf: Die Verwendung von kausaler Aufmerksamkeit in VLM-Backbones ist für Embedding-Aufgaben suboptimal; Skalierbarkeitsprobleme aufgrund der Abhängigkeit von hochwertigen, gepaarten annotierten Daten für kontrastives Lernen; und eine begrenzte Vielfalt in Trainingszielen und Daten. Um diese Probleme zu adressieren, schlagen wir MoCa vor, ein zweistufiges Framework zur Transformation vortrainierter VLMs in effektive bidirektionale multimodale Embedding-Modelle. Die erste Stufe, Modality-aware Continual Pre-training, führt ein gemeinsames Rekonstruktionsziel ein, das gleichzeitig verschachtelte Text- und Bild-Eingaben denoisiert und bidirektionales kontextbewusstes Denken verbessert. Die zweite Stufe, Heterogeneous Contrastive Fine-tuning, nutzt vielfältige, semantisch reiche multimodale Daten, die über einfache Bild-Beschriftungs-Paare hinausgehen, um Generalisierung und Ausrichtung zu verbessern. Unser Ansatz adressiert die genannten Einschränkungen durch die Einführung bidirektionaler Aufmerksamkeit mittels kontinuierlichem Pre-training, effektive Skalierung mit massiven ungelabelten Datensätzen durch gemeinsame Rekonstruktionsziele und die Nutzung diverser multimodaler Daten für eine verbesserte Robustheit der Repräsentation. Experimente zeigen, dass MoCa die Leistung über die MMEB- und ViDoRe-v2-Benchmarks hinweg konsequent verbessert, neue State-of-the-Art-Ergebnisse erzielt und eine starke Skalierbarkeit sowohl in Bezug auf die Modellgröße als auch auf die Trainingsdaten bei MMEB aufweist.

English

Multimodal embedding models, built upon causal Vision Language Models (VLMs), have shown promise in various tasks. However, current approaches face three key limitations: the use of causal attention in VLM backbones is suboptimal for embedding tasks; scalability issues due to reliance on high-quality labeled paired data for contrastive learning; and limited diversity in training objectives and data. To address these issues, we propose MoCa, a two-stage framework for transforming pre-trained VLMs into effective bidirectional multimodal embedding models. The first stage, Modality-aware Continual Pre-training, introduces a joint reconstruction objective that simultaneously denoises interleaved text and image inputs, enhancing bidirectional context-aware reasoning. The second stage, Heterogeneous Contrastive Fine-tuning, leverages diverse, semantically rich multimodal data beyond simple image-caption pairs to enhance generalization and alignment. Our method addresses the stated limitations by introducing bidirectional attention through continual pre-training, scaling effectively with massive unlabeled datasets via joint reconstruction objectives, and utilizing diverse multimodal data for enhanced representation robustness. Experiments demonstrate that MoCa consistently improves performance across MMEB and ViDoRe-v2 benchmarks, achieving new state-of-the-art results, and exhibits strong scalability with both model size and training data on MMEB.