MoCa: Preentrenamiento Continuo Consciente de la Modalidad para Mejores Incrustaciones Multimodales Bidireccionales

MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings

June 29, 2025

Autores: Haonan Chen, Hong Liu, Yuping Luo, Liang Wang, Nan Yang, Furu Wei, Zhicheng Dou

cs.AI

Resumen

Los modelos de incrustación multimodal, construidos sobre modelos de lenguaje visual causal (VLMs), han mostrado resultados prometedores en diversas tareas. Sin embargo, los enfoques actuales enfrentan tres limitaciones clave: el uso de atención causal en los backbones de los VLMs es subóptimo para tareas de incrustación; problemas de escalabilidad debido a la dependencia de datos etiquetados de alta calidad para el aprendizaje contrastivo; y una diversidad limitada en los objetivos y datos de entrenamiento. Para abordar estos problemas, proponemos MoCa, un marco de trabajo en dos etapas para transformar VLMs preentrenados en modelos efectivos de incrustación multimodal bidireccional. La primera etapa, el Preentrenamiento Continuo con Conciencia de Modalidad, introduce un objetivo de reconstrucción conjunta que desruye simultáneamente entradas intercaladas de texto e imágenes, mejorando el razonamiento bidireccional consciente del contexto. La segunda etapa, el Ajuste Fino Contrastivo Heterogéneo, aprovecha datos multimodales diversos y semánticamente ricos más allá de simples pares imagen-texto para mejorar la generalización y alineación. Nuestro método aborda las limitaciones mencionadas al introducir atención bidireccional mediante el preentrenamiento continuo, escalando eficazmente con grandes conjuntos de datos no etiquetados a través de objetivos de reconstrucción conjunta, y utilizando datos multimodales diversos para mejorar la robustez de las representaciones. Los experimentos demuestran que MoCa mejora consistentemente el rendimiento en los benchmarks MMEB y ViDoRe-v2, logrando nuevos resultados de vanguardia, y exhibe una fuerte escalabilidad tanto en el tamaño del modelo como en los datos de entrenamiento en MMEB.

English

Multimodal embedding models, built upon causal Vision Language Models (VLMs), have shown promise in various tasks. However, current approaches face three key limitations: the use of causal attention in VLM backbones is suboptimal for embedding tasks; scalability issues due to reliance on high-quality labeled paired data for contrastive learning; and limited diversity in training objectives and data. To address these issues, we propose MoCa, a two-stage framework for transforming pre-trained VLMs into effective bidirectional multimodal embedding models. The first stage, Modality-aware Continual Pre-training, introduces a joint reconstruction objective that simultaneously denoises interleaved text and image inputs, enhancing bidirectional context-aware reasoning. The second stage, Heterogeneous Contrastive Fine-tuning, leverages diverse, semantically rich multimodal data beyond simple image-caption pairs to enhance generalization and alignment. Our method addresses the stated limitations by introducing bidirectional attention through continual pre-training, scaling effectively with massive unlabeled datasets via joint reconstruction objectives, and utilizing diverse multimodal data for enhanced representation robustness. Experiments demonstrate that MoCa consistently improves performance across MMEB and ViDoRe-v2 benchmarks, achieving new state-of-the-art results, and exhibits strong scalability with both model size and training data on MMEB.