MMEmb-R1: Incrustación Multimodal Mejorada con Razonamiento mediante Selección Sensible a Pares y Control Adaptativo
MMEmb-R1: Reasoning-Enhanced Multimodal Embedding with Pair-Aware Selection and Adaptive Control
April 7, 2026
Autores: Yuchi Wang, Haiyang Yu, Weikang Bian, Jiefeng Long, Xiao Liang, Chao Feng, Hongsheng Li
cs.AI
Resumen
Los MLLM se han aplicado con éxito a tareas de incrustación multimodal, aunque sus capacidades de razonamiento generativo siguen estando infrautilizadas. La incorporación directa del razonamiento en cadena en el aprendizaje de incrustaciones plantea dos desafíos fundamentales. Primero, la desalineación estructural entre el razonamiento a nivel de instancia y la supervisión contrastiva por pares puede provocar comportamientos de atajo, donde el modelo solo aprende el formato superficial del razonamiento. Segundo, el razonamiento no es universalmente beneficioso para las tareas de incrustación. Forzar el razonamiento para todas las entradas puede introducir cálculos y latencia innecesarios, e incluso puede oscurecer las señales semánticas salientes en casos simples. Para abordar estos problemas, proponemos MMEmb-R1, un marco de incrustación multimodal adaptativo basado en razonamiento. Formulamos el razonamiento como una variable latente e introducimos una selección de razonamiento consciente de pares que emplea intervención contrafáctica para identificar trayectorias de razonamiento beneficiosas para la alineación consulta-objetivo. Además, adoptamos el aprendizaje por refuerzo para invocar selectivamente el razonamiento solo cuando es necesario. Los experimentos en el benchmark MMEB-V2 demuestran que nuestro modelo alcanza una puntuación de 71.2 con solo 4B parámetros, estableciendo un nuevo estado del arte mientras reduce significativamente la sobrecarga de razonamiento y la latencia de inferencia.
English
MLLMs have been successfully applied to multimodal embedding tasks, yet their generative reasoning capabilities remain underutilized. Directly incorporating chain-of-thought reasoning into embedding learning introduces two fundamental challenges. First, structural misalignment between instance-level reasoning and pairwise contrastive supervision may lead to shortcut behavior, where the model merely learns the superficial format of reasoning. Second, reasoning is not universally beneficial for embedding tasks. Enforcing reasoning for all inputs may introduce unnecessary computation and latency, and can even obscure salient semantic signals for simple cases. To address these issues, we propose MMEmb-R1, an adaptive reasoning-based multimodal embedding framework. We formulate reasoning as a latent variable and introduce pair-aware reasoning selection that employs counterfactual intervention to identify reasoning paths beneficial for query-target alignment. Furthermore, we adopt reinforcement learning to selectively invoke reasoning only when necessary. Experiments on the MMEB-V2 benchmark demonstrate that our model achieves a score of 71.2 with only 4B parameters, establishing a new state-of-the-art while significantly reducing reasoning overhead and inference latency.