MoCa: Pré-treinamento Contínuo com Consciência de Modalidade Produz Melhores Incorporações Multimodais Bidirecionais

MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings

June 29, 2025

Autores: Haonan Chen, Hong Liu, Yuping Luo, Liang Wang, Nan Yang, Furu Wei, Zhicheng Dou

cs.AI

Resumo

Modelos de incorporação multimodal, construídos sobre Modelos de Visão e Linguagem (VLMs) causais, têm mostrado potencial em diversas tarefas. No entanto, as abordagens atuais enfrentam três limitações principais: o uso de atenção causal em backbones de VLMs é subótimo para tarefas de incorporação; problemas de escalabilidade devido à dependência de dados pareados de alta qualidade rotulados para aprendizado contrastivo; e diversidade limitada nos objetivos e dados de treinamento. Para abordar essas questões, propomos o MoCa, uma estrutura de duas etapas para transformar VLMs pré-treinados em modelos eficazes de incorporação multimodal bidirecional. A primeira etapa, Pré-treinamento Contínuo com Consciência de Modalidade, introduz um objetivo de reconstrução conjunta que simultaneamente remove ruídos de entradas intercaladas de texto e imagem, aprimorando o raciocínio contextual bidirecional. A segunda etapa, Ajuste Fino Contrastivo Heterogêneo, aproveita dados multimodais diversos e semanticamente ricos, além de pares simples de imagem-legenda, para melhorar a generalização e o alinhamento. Nosso método aborda as limitações mencionadas ao introduzir atenção bidirecional por meio de pré-treinamento contínuo, escalando efetivamente com grandes conjuntos de dados não rotulados via objetivos de reconstrução conjunta, e utilizando dados multimodais diversos para aprimorar a robustez das representações. Experimentos demonstram que o MoCa melhora consistentemente o desempenho nos benchmarks MMEB e ViDoRe-v2, alcançando novos resultados state-of-the-art, e exibe forte escalabilidade tanto com o tamanho do modelo quanto com os dados de treinamento no MMEB.

English

Multimodal embedding models, built upon causal Vision Language Models (VLMs), have shown promise in various tasks. However, current approaches face three key limitations: the use of causal attention in VLM backbones is suboptimal for embedding tasks; scalability issues due to reliance on high-quality labeled paired data for contrastive learning; and limited diversity in training objectives and data. To address these issues, we propose MoCa, a two-stage framework for transforming pre-trained VLMs into effective bidirectional multimodal embedding models. The first stage, Modality-aware Continual Pre-training, introduces a joint reconstruction objective that simultaneously denoises interleaved text and image inputs, enhancing bidirectional context-aware reasoning. The second stage, Heterogeneous Contrastive Fine-tuning, leverages diverse, semantically rich multimodal data beyond simple image-caption pairs to enhance generalization and alignment. Our method addresses the stated limitations by introducing bidirectional attention through continual pre-training, scaling effectively with massive unlabeled datasets via joint reconstruction objectives, and utilizing diverse multimodal data for enhanced representation robustness. Experiments demonstrate that MoCa consistently improves performance across MMEB and ViDoRe-v2 benchmarks, achieving new state-of-the-art results, and exhibits strong scalability with both model size and training data on MMEB.