MMEmb-R1: Redenering-verbeterde Multimodale Inbedding met Paargewijs Bewustzijn en Adaptieve Controle

MMEmb-R1: Reasoning-Enhanced Multimodal Embedding with Pair-Aware Selection and Adaptive Control

April 7, 2026

Auteurs: Yuchi Wang, Haiyang Yu, Weikang Bian, Jiefeng Long, Xiao Liang, Chao Feng, Hongsheng Li

cs.AI

Samenvatting

MLLM's zijn met succes toegepast op multimodale inbeddingstaken, maar hun generatieve redeneervermogen blijft onderbenut. Het direct integreren van chain-of-thought-redenering in inbeddingsleren brengt twee fundamentele uitdagingen met zich mee. Ten eerste kan structurele misalignering tussen instantieniveau-redenering en paarsgewijze contrastieve supervisie leiden tot shortcut-gedrag, waarbij het model slechts het oppervlakkige formaat van redeneren aanleert. Ten tweede is redeneren niet altijd voordelig voor inbeddingstaken. Het afdwingen van redenering voor alle invoeren kan onnodige rekenkosten en latentie introduceren, en kan zelfs voor eenvoudige gevallen belangrijke semantische signalen vertroebelen. Om deze problemen aan te pakken, stellen wij MMEmb-R1 voor, een adaptief op redenering gebaseerd multimodaal inbeddingsraamwerk. Wij formuleren redenering als een latente variabele en introduceren paar-bewuste redeneerselectie die contrafeitelijke interventie gebruikt om redeneerpaden te identificeren die gunstig zijn voor query-doel-alignering. Verder passen wij reinforcement learning toe om redenering selectief aan te roepen, alleen wanneer dit nodig is. Experimenten op de MMEB-V2-benchmark tonen aan dat ons model een score van 71,2 behaalt met slechts 4B parameters, wat een nieuwe state-of-the-art vestigt terwijl de redeneeroverhead en inferentielatentie aanzienlijk worden verminderd.

English

MLLMs have been successfully applied to multimodal embedding tasks, yet their generative reasoning capabilities remain underutilized. Directly incorporating chain-of-thought reasoning into embedding learning introduces two fundamental challenges. First, structural misalignment between instance-level reasoning and pairwise contrastive supervision may lead to shortcut behavior, where the model merely learns the superficial format of reasoning. Second, reasoning is not universally beneficial for embedding tasks. Enforcing reasoning for all inputs may introduce unnecessary computation and latency, and can even obscure salient semantic signals for simple cases. To address these issues, we propose MMEmb-R1, an adaptive reasoning-based multimodal embedding framework. We formulate reasoning as a latent variable and introduce pair-aware reasoning selection that employs counterfactual intervention to identify reasoning paths beneficial for query-target alignment. Furthermore, we adopt reinforcement learning to selectively invoke reasoning only when necessary. Experiments on the MMEB-V2 benchmark demonstrate that our model achieves a score of 71.2 with only 4B parameters, establishing a new state-of-the-art while significantly reducing reasoning overhead and inference latency.