MoCa: 양방향 멀티모달 임베딩을 향상시키는 모달리티 인지 연속 사전 학습

초록

인과적 시각-언어 모델(Vision Language Models, VLMs)을 기반으로 구축된 멀티모달 임베딩 모델은 다양한 작업에서 유망한 성과를 보여주고 있습니다. 그러나 현재의 접근 방식은 세 가지 주요 한계에 직면해 있습니다: VLM 백본에서 사용되는 인과적 어텐션(causal attention)은 임베딩 작업에 최적화되지 않으며, 대조 학습(contrastive learning)을 위해 고품질의 레이블이 지정된 짝 데이터에 의존함으로써 확장성 문제가 발생하고, 훈련 목표와 데이터의 다양성이 제한적입니다. 이러한 문제를 해결하기 위해, 우리는 사전 훈련된 VLMs을 효과적인 양방향 멀티모달 임베딩 모델로 변환하기 위한 두 단계 프레임워크인 MoCa를 제안합니다. 첫 번째 단계인 Modality-aware Continual Pre-training은 텍스트와 이미지 입력을 동시에 디노이징(denoising)하는 공동 재구성(joint reconstruction) 목표를 도입하여 양방향 컨텍스트 인식 추론을 강화합니다. 두 번째 단계인 Heterogeneous Contrastive Fine-tuning은 단순한 이미지-캡션 쌍을 넘어서 다양한 의미론적으로 풍부한 멀티모달 데이터를 활용하여 일반화와 정렬(alignment)을 강화합니다. 우리의 방법은 지속적인 사전 훈련을 통해 양방향 어텐션을 도입하고, 공동 재구성 목표를 통해 대규모 레이블 없는 데이터셋과 효과적으로 확장하며, 다양한 멀티모달 데이터를 활용하여 표현의 견고성을 강화함으로써 앞서 언급한 한계를 해결합니다. 실험 결과, MoCa는 MMEB 및 ViDoRe-v2 벤치마크에서 일관되게 성능을 향상시키며 새로운 최첨단 결과를 달성했고, MMEB에서 모델 크기와 훈련 데이터 모두에 대해 강력한 확장성을 보여주었습니다.

English

Multimodal embedding models, built upon causal Vision Language Models (VLMs), have shown promise in various tasks. However, current approaches face three key limitations: the use of causal attention in VLM backbones is suboptimal for embedding tasks; scalability issues due to reliance on high-quality labeled paired data for contrastive learning; and limited diversity in training objectives and data. To address these issues, we propose MoCa, a two-stage framework for transforming pre-trained VLMs into effective bidirectional multimodal embedding models. The first stage, Modality-aware Continual Pre-training, introduces a joint reconstruction objective that simultaneously denoises interleaved text and image inputs, enhancing bidirectional context-aware reasoning. The second stage, Heterogeneous Contrastive Fine-tuning, leverages diverse, semantically rich multimodal data beyond simple image-caption pairs to enhance generalization and alignment. Our method addresses the stated limitations by introducing bidirectional attention through continual pre-training, scaling effectively with massive unlabeled datasets via joint reconstruction objectives, and utilizing diverse multimodal data for enhanced representation robustness. Experiments demonstrate that MoCa consistently improves performance across MMEB and ViDoRe-v2 benchmarks, achieving new state-of-the-art results, and exhibits strong scalability with both model size and training data on MMEB.

MoCa: 양방향 멀티모달 임베딩을 향상시키는 모달리티 인지 연속 사전 학습

MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings

초록

Support