MoCa: Pre-addestramento Continuo Consapevole della Modalità per Migliorare gli Embedding Multimodali Bidirezionali

MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings

June 29, 2025

Autori: Haonan Chen, Hong Liu, Yuping Luo, Liang Wang, Nan Yang, Furu Wei, Zhicheng Dou

cs.AI

Abstract

I modelli di embedding multimodali, costruiti su modelli linguistici visivi (VLMs) causali, hanno mostrato promettenti risultati in vari compiti. Tuttavia, gli approcci attuali presentano tre limitazioni principali: l'uso dell'attenzione causale nei backbone dei VLMs non è ottimale per i compiti di embedding; problemi di scalabilità dovuti alla dipendenza da dati etichettati di alta qualità per l'apprendimento contrastivo; e una diversità limitata negli obiettivi e nei dati di addestramento. Per affrontare queste problematiche, proponiamo MoCa, un framework a due fasi per trasformare VLMs pre-addestrati in efficaci modelli di embedding multimodali bidirezionali. La prima fase, il Pre-addestramento Continuo Consapevole della Modalità, introduce un obiettivo di ricostruzione congiunta che denoizza simultaneamente input testuali e visivi intervallati, migliorando il ragionamento contestuale bidirezionale. La seconda fase, l'Affinamento Contrastivo Eterogeneo, sfrutta dati multimodali diversificati e semanticamente ricchi, oltre alle semplici coppie immagine-didascalia, per migliorare la generalizzazione e l'allineamento. Il nostro metodo affronta le limitazioni menzionate introducendo l'attenzione bidirezionale attraverso il pre-addestramento continuo, scalando efficacemente con grandi dataset non etichettati tramite obiettivi di ricostruzione congiunta, e utilizzando dati multimodali diversificati per una maggiore robustezza delle rappresentazioni. Gli esperimenti dimostrano che MoCa migliora costantemente le prestazioni sui benchmark MMEB e ViDoRe-v2, raggiungendo nuovi risultati all'avanguardia, e mostra una forte scalabilità sia con la dimensione del modello che con i dati di addestramento su MMEB.

English

Multimodal embedding models, built upon causal Vision Language Models (VLMs), have shown promise in various tasks. However, current approaches face three key limitations: the use of causal attention in VLM backbones is suboptimal for embedding tasks; scalability issues due to reliance on high-quality labeled paired data for contrastive learning; and limited diversity in training objectives and data. To address these issues, we propose MoCa, a two-stage framework for transforming pre-trained VLMs into effective bidirectional multimodal embedding models. The first stage, Modality-aware Continual Pre-training, introduces a joint reconstruction objective that simultaneously denoises interleaved text and image inputs, enhancing bidirectional context-aware reasoning. The second stage, Heterogeneous Contrastive Fine-tuning, leverages diverse, semantically rich multimodal data beyond simple image-caption pairs to enhance generalization and alignment. Our method addresses the stated limitations by introducing bidirectional attention through continual pre-training, scaling effectively with massive unlabeled datasets via joint reconstruction objectives, and utilizing diverse multimodal data for enhanced representation robustness. Experiments demonstrate that MoCa consistently improves performance across MMEB and ViDoRe-v2 benchmarks, achieving new state-of-the-art results, and exhibits strong scalability with both model size and training data on MMEB.