MoCa: Modality-bewust Voortgezette Voorafgaande Training Creëert Betere Bidirectionele Multimodale Embeddings

MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings

June 29, 2025

Auteurs: Haonan Chen, Hong Liu, Yuping Luo, Liang Wang, Nan Yang, Furu Wei, Zhicheng Dou

cs.AI

Samenvatting

Multimodale inbeddingsmodellen, gebouwd op causale Vision Language Models (VLMs), hebben potentie getoond in diverse taken. Huidige benaderingen kampen echter met drie belangrijke beperkingen: het gebruik van causale aandacht in VLM-backbones is suboptimaal voor inbeddingstaken; schaalbaarheidsproblemen door de afhankelijkheid van hoogwaardige gelabelde gepaarde data voor contrastief leren; en beperkte diversiteit in trainingsdoelen en data. Om deze problemen aan te pakken, stellen we MoCa voor, een tweestaps raamwerk voor het transformeren van vooraf getrainde VLMs naar effectieve bidirectionele multimodale inbeddingsmodellen. De eerste fase, Modality-aware Continual Pre-training, introduceert een gezamenlijk reconstructiedoel dat tegelijkertijd interleaved tekst- en beeldinvoer denoiseert, waardoor bidirectioneel contextbewust redeneren wordt verbeterd. De tweede fase, Heterogeneous Contrastive Fine-tuning, maakt gebruik van diverse, semantisch rijke multimodale data die verder gaan dan eenvoudige beeld-bijschriftparen om generalisatie en uitlijning te verbeteren. Onze methode adresseert de genoemde beperkingen door bidirectionele aandacht te introduceren via voortgezette voorpretraining, effectief te schalen met enorme ongeëtiketteerde datasets via gezamenlijke reconstructiedoelen, en diverse multimodale data te benutten voor verbeterde representatierobustheid. Experimenten tonen aan dat MoCa consistent prestaties verbetert op de MMEB- en ViDoRe-v2 benchmarks, nieuwe state-of-the-art resultaten behaalt, en sterke schaalbaarheid vertoont met zowel modelgrootte als trainingsdata op MMEB.

English

Multimodal embedding models, built upon causal Vision Language Models (VLMs), have shown promise in various tasks. However, current approaches face three key limitations: the use of causal attention in VLM backbones is suboptimal for embedding tasks; scalability issues due to reliance on high-quality labeled paired data for contrastive learning; and limited diversity in training objectives and data. To address these issues, we propose MoCa, a two-stage framework for transforming pre-trained VLMs into effective bidirectional multimodal embedding models. The first stage, Modality-aware Continual Pre-training, introduces a joint reconstruction objective that simultaneously denoises interleaved text and image inputs, enhancing bidirectional context-aware reasoning. The second stage, Heterogeneous Contrastive Fine-tuning, leverages diverse, semantically rich multimodal data beyond simple image-caption pairs to enhance generalization and alignment. Our method addresses the stated limitations by introducing bidirectional attention through continual pre-training, scaling effectively with massive unlabeled datasets via joint reconstruction objectives, and utilizing diverse multimodal data for enhanced representation robustness. Experiments demonstrate that MoCa consistently improves performance across MMEB and ViDoRe-v2 benchmarks, achieving new state-of-the-art results, and exhibits strong scalability with both model size and training data on MMEB.