MMEmb-R1: 쌍 인식 선택 및 적응적 제어를 통한 추론 강화 다중모달 임베딩

MMEmb-R1: Reasoning-Enhanced Multimodal Embedding with Pair-Aware Selection and Adaptive Control

April 7, 2026

저자: Yuchi Wang, Haiyang Yu, Weikang Bian, Jiefeng Long, Xiao Liang, Chao Feng, Hongsheng Li

cs.AI

초록

MLLM은 다중모달 임베딩 작업에 성공적으로 적용되었으나, 그 생성적 추론 능력은 여전히 충분히 활용되지 않고 있습니다. 사고 연쇄 추론을 임베딩 학습에 직접 통합하는 것은 두 가지 근본적인 과제를 야기합니다. 첫째, 인스턴스 수준의 추론과 쌍별 대조적 감독 간의 구조적 불일치로 인해 모델이 단순히 추론의 표면적 형식만 학습하는 지름길 행동이 발생할 수 있습니다. 둘째, 추론이 모든 임베딩 작업에 유익한 것은 아닙니다. 모든 입력에 대해 추론을 강제하면 불필요한 계산과 지연이 발생할 뿐만 아니라 단순한 경우에는 중요한 의미론적 신호를 흐리게 할 수도 있습니다. 이러한 문제를 해결하기 위해 우리는 적응형 추론 기반 다중모달 임베딩 프레임워크인 MMEmb-R1을 제안합니다. 우리는 추론을 잠재 변수로 공식화하고, 반사실적 개입을 통해 질의-대상 정렬에 유익한 추론 경로를 식별하는 쌍 인식 추론 선택 방식을 도입합니다. 더 나아가 강화 학습을 도입하여 필요한 경우에만 선택적으로 추론을 수행하도록 합니다. MMEB-V2 벤치마크에서의 실험 결과, 우리 모델은 4B 파라미터만으로 71.2점을 달성하여 새로운 최첨단 성능을 확립하는 동시에 추론 오버헤드와 추론 지연 시간을 크게 줄였습니다.

English

MLLMs have been successfully applied to multimodal embedding tasks, yet their generative reasoning capabilities remain underutilized. Directly incorporating chain-of-thought reasoning into embedding learning introduces two fundamental challenges. First, structural misalignment between instance-level reasoning and pairwise contrastive supervision may lead to shortcut behavior, where the model merely learns the superficial format of reasoning. Second, reasoning is not universally beneficial for embedding tasks. Enforcing reasoning for all inputs may introduce unnecessary computation and latency, and can even obscure salient semantic signals for simple cases. To address these issues, we propose MMEmb-R1, an adaptive reasoning-based multimodal embedding framework. We formulate reasoning as a latent variable and introduce pair-aware reasoning selection that employs counterfactual intervention to identify reasoning paths beneficial for query-target alignment. Furthermore, we adopt reinforcement learning to selectively invoke reasoning only when necessary. Experiments on the MMEB-V2 benchmark demonstrate that our model achieves a score of 71.2 with only 4B parameters, establishing a new state-of-the-art while significantly reducing reasoning overhead and inference latency.