MMEmb-R1: Incorporação Multimodal Aprimorada por Raciocínio com Seleção Consciente de Pares e Controle Adaptativo

MMEmb-R1: Reasoning-Enhanced Multimodal Embedding with Pair-Aware Selection and Adaptive Control

April 7, 2026

Autores: Yuchi Wang, Haiyang Yu, Weikang Bian, Jiefeng Long, Xiao Liang, Chao Feng, Hongsheng Li

cs.AI

Resumo

Os MLLMs têm sido aplicados com sucesso em tarefas de incorporação multimodal, mas suas capacidades de raciocínio generativo permanecem subutilizadas. A incorporação direta do raciocínio em cadeia no aprendizado de embeddings apresenta dois desafios fundamentais. Primeiro, o desalinhamento estrutural entre o raciocínio a nível de instância e a supervisão contrastiva pareada pode levar a comportamentos de atalho, nos quais o modelo apenas apreende o formato superficial do raciocínio. Segundo, o raciocínio não é universalmente benéfico para tarefas de incorporação. Forçar o raciocínio para todas as entradas pode introduzir computação e latência desnecessárias, podendo até mesmo ofuscar sinais semânticos salientes em casos simples. Para resolver essas questões, propomos o MMEmb-R1, uma estrutura adaptativa de incorporação multimodal baseada em raciocínio. Formula-se o raciocínio como uma variável latente e introduz-se uma seleção de raciocínio consciente dos pares que emprega intervenção contrafactual para identificar caminhos de raciocínio benéficos para o alinhamento consulta-alvo. Adicionalmente, adotamos aprendizado por reforço para invocar seletivamente o raciocínio apenas quando necessário. Experimentos no benchmark MMEB-V2 demonstram que nosso modelo alcança uma pontuação de 71,2 com apenas 4B de parâmetros, estabelecendo um novo estado da arte enquanto reduz significativamente a sobrecarga de raciocínio e a latência de inferência.

English

MLLMs have been successfully applied to multimodal embedding tasks, yet their generative reasoning capabilities remain underutilized. Directly incorporating chain-of-thought reasoning into embedding learning introduces two fundamental challenges. First, structural misalignment between instance-level reasoning and pairwise contrastive supervision may lead to shortcut behavior, where the model merely learns the superficial format of reasoning. Second, reasoning is not universally beneficial for embedding tasks. Enforcing reasoning for all inputs may introduce unnecessary computation and latency, and can even obscure salient semantic signals for simple cases. To address these issues, we propose MMEmb-R1, an adaptive reasoning-based multimodal embedding framework. We formulate reasoning as a latent variable and introduce pair-aware reasoning selection that employs counterfactual intervention to identify reasoning paths beneficial for query-target alignment. Furthermore, we adopt reinforcement learning to selectively invoke reasoning only when necessary. Experiments on the MMEB-V2 benchmark demonstrate that our model achieves a score of 71.2 with only 4B parameters, establishing a new state-of-the-art while significantly reducing reasoning overhead and inference latency.