MoCa: Модально-ориентированное непрерывное предварительное обучение для улучшения двунаправленных мультимодальных эмбеддингов

MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings

June 29, 2025

Авторы: Haonan Chen, Hong Liu, Yuping Luo, Liang Wang, Nan Yang, Furu Wei, Zhicheng Dou

cs.AI

Аннотация

Мультимодальные модели эмбеддингов, построенные на основе каузальных моделей "Визуальный язык" (Vision Language Models, VLMs), продемонстрировали перспективность в решении различных задач. Однако современные подходы сталкиваются с тремя ключевыми ограничениями: использование каузального внимания в архитектуре VLM неоптимально для задач эмбеддинга; проблемы масштабируемости из-за зависимости от высококачественных размеченных парных данных для контрастивного обучения; и ограниченное разнообразие в целях обучения и данных. Для решения этих проблем мы предлагаем MoCa, двухэтапную структуру для преобразования предобученных VLMs в эффективные двунаправленные мультимодальные модели эмбеддингов. Первый этап, Modality-aware Continual Pre-training, вводит совместную цель реконструкции, которая одновременно устраняет шум в чередующихся текстовых и визуальных данных, улучшая двунаправленное контекстно-зависимое рассуждение. Второй этап, Heterogeneous Contrastive Fine-tuning, использует разнообразные, семантически насыщенные мультимодальные данные, выходящие за рамки простых пар "изображение-описание", для улучшения обобщения и согласованности. Наш метод устраняет указанные ограничения за счет введения двунаправленного внимания через непрерывное предобучение, эффективного масштабирования с использованием массивных немаркированных данных через совместные цели реконструкции и использования разнообразных мультимодальных данных для повышения устойчивости представлений. Эксперименты показывают, что MoCa последовательно улучшает производительность на бенчмарках MMEB и ViDoRe-v2, достигая новых рекордных результатов, и демонстрирует высокую масштабируемость как с увеличением размера модели, так и с объемом обучающих данных на MMEB.

English

Multimodal embedding models, built upon causal Vision Language Models (VLMs), have shown promise in various tasks. However, current approaches face three key limitations: the use of causal attention in VLM backbones is suboptimal for embedding tasks; scalability issues due to reliance on high-quality labeled paired data for contrastive learning; and limited diversity in training objectives and data. To address these issues, we propose MoCa, a two-stage framework for transforming pre-trained VLMs into effective bidirectional multimodal embedding models. The first stage, Modality-aware Continual Pre-training, introduces a joint reconstruction objective that simultaneously denoises interleaved text and image inputs, enhancing bidirectional context-aware reasoning. The second stage, Heterogeneous Contrastive Fine-tuning, leverages diverse, semantically rich multimodal data beyond simple image-caption pairs to enhance generalization and alignment. Our method addresses the stated limitations by introducing bidirectional attention through continual pre-training, scaling effectively with massive unlabeled datasets via joint reconstruction objectives, and utilizing diverse multimodal data for enhanced representation robustness. Experiments demonstrate that MoCa consistently improves performance across MMEB and ViDoRe-v2 benchmarks, achieving new state-of-the-art results, and exhibits strong scalability with both model size and training data on MMEB.