MoCa : Un pré-entraînement continu adapté aux modalités pour de meilleures représentations multimodales bidirectionnelles

MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings

June 29, 2025

Auteurs: Haonan Chen, Hong Liu, Yuping Luo, Liang Wang, Nan Yang, Furu Wei, Zhicheng Dou

cs.AI

Résumé

Les modèles d'embedding multimodaux, basés sur des modèles vision-langage (VLM) causaux, ont montré des résultats prometteurs dans diverses tâches. Cependant, les approches actuelles présentent trois limitations majeures : l'utilisation de l'attention causale dans les architectures VLM est sous-optimale pour les tâches d'embedding ; des problèmes de scalabilité dus à la dépendance envers des données appariées de haute qualité pour l'apprentissage contrastif ; et une diversité limitée dans les objectifs d'entraînement et les données. Pour résoudre ces problèmes, nous proposons MoCa, un cadre en deux étapes pour transformer des VLM pré-entraînés en modèles d'embedding multimodaux bidirectionnels efficaces. La première étape, le pré-entraînement continu avec prise en compte des modalités, introduit un objectif de reconstruction conjointe qui débruite simultanément les entrées entrelacées de texte et d'images, améliorant le raisonnement contextuel bidirectionnel. La deuxième étape, le fine-tuning contrastif hétérogène, exploite des données multimodales diversifiées et sémantiquement riches au-delà des simples paires image-légende pour améliorer la généralisation et l'alignement. Notre méthode aborde les limitations mentionnées en introduisant une attention bidirectionnelle via le pré-entraînement continu, en s'adaptant efficacement à des ensembles de données non labellisées massives grâce aux objectifs de reconstruction conjointe, et en utilisant des données multimodales variées pour renforcer la robustesse des représentations. Les expériences démontrent que MoCa améliore systématiquement les performances sur les benchmarks MMEB et ViDoRe-v2, établissant de nouveaux records, et montre une forte scalabilité tant en termes de taille de modèle que de données d'entraînement sur MMEB.

English

Multimodal embedding models, built upon causal Vision Language Models (VLMs), have shown promise in various tasks. However, current approaches face three key limitations: the use of causal attention in VLM backbones is suboptimal for embedding tasks; scalability issues due to reliance on high-quality labeled paired data for contrastive learning; and limited diversity in training objectives and data. To address these issues, we propose MoCa, a two-stage framework for transforming pre-trained VLMs into effective bidirectional multimodal embedding models. The first stage, Modality-aware Continual Pre-training, introduces a joint reconstruction objective that simultaneously denoises interleaved text and image inputs, enhancing bidirectional context-aware reasoning. The second stage, Heterogeneous Contrastive Fine-tuning, leverages diverse, semantically rich multimodal data beyond simple image-caption pairs to enhance generalization and alignment. Our method addresses the stated limitations by introducing bidirectional attention through continual pre-training, scaling effectively with massive unlabeled datasets via joint reconstruction objectives, and utilizing diverse multimodal data for enhanced representation robustness. Experiments demonstrate that MoCa consistently improves performance across MMEB and ViDoRe-v2 benchmarks, achieving new state-of-the-art results, and exhibits strong scalability with both model size and training data on MMEB.