MMEmb-R1 : Encodage multimodal à raisonnement intégré avec sélection sensible aux paires et contrôle adaptatif

MMEmb-R1: Reasoning-Enhanced Multimodal Embedding with Pair-Aware Selection and Adaptive Control

April 7, 2026

Auteurs: Yuchi Wang, Haiyang Yu, Weikang Bian, Jiefeng Long, Xiao Liang, Chao Feng, Hongsheng Li

cs.AI

Résumé

Les MLLM ont été appliqués avec succès aux tâches d'embedding multimodal, mais leurs capacités de raisonnement génératif restent sous-utilisées. L'intégration directe du raisonnement en chaîne de pensée dans l'apprentissage d'embedding présente deux défis fondamentaux. Premièrement, le désalignement structurel entre le raisonnement au niveau instance et la supervision contrastive par paires peut entraîner un comportement de raccourci, où le modèle apprend simplement le format superficiel du raisonnement. Deuxièmement, le raisonnement n'est pas universellement bénéfique pour les tâches d'embedding. Imposer un raisonnement pour toutes les entrées peut introduire une latence et des calculs inutiles, et peut même obscurcir les signaux sémantiques saillants pour les cas simples. Pour résoudre ces problèmes, nous proposons MMEmb-R1, un framework d'embedding multimodal adaptatif basé sur le raisonnement. Nous formulons le raisonnement comme une variable latente et introduisons une sélection de raisonnement consciente des paires qui utilise une intervention contrefactuelle pour identifier les chemins de raisonnement bénéfiques à l'alignement requête-cible. De plus, nous adoptons l'apprentissage par renforcement pour invoker sélectivement le raisonnement uniquement lorsque nécessaire. Les expériences sur le benchmark MMEB-V2 démontrent que notre modèle atteint un score de 71,2 avec seulement 4B paramètres, établissant un nouvel état de l'art tout en réduisant significativement la surcharge de raisonnement et la latence d'inférence.

English

MLLMs have been successfully applied to multimodal embedding tasks, yet their generative reasoning capabilities remain underutilized. Directly incorporating chain-of-thought reasoning into embedding learning introduces two fundamental challenges. First, structural misalignment between instance-level reasoning and pairwise contrastive supervision may lead to shortcut behavior, where the model merely learns the superficial format of reasoning. Second, reasoning is not universally beneficial for embedding tasks. Enforcing reasoning for all inputs may introduce unnecessary computation and latency, and can even obscure salient semantic signals for simple cases. To address these issues, we propose MMEmb-R1, an adaptive reasoning-based multimodal embedding framework. We formulate reasoning as a latent variable and introduce pair-aware reasoning selection that employs counterfactual intervention to identify reasoning paths beneficial for query-target alignment. Furthermore, we adopt reinforcement learning to selectively invoke reasoning only when necessary. Experiments on the MMEB-V2 benchmark demonstrate that our model achieves a score of 71.2 with only 4B parameters, establishing a new state-of-the-art while significantly reducing reasoning overhead and inference latency.