MMEmb-R1: Мультимодальное встраивание с расширенными возможностями рассуждений, осознанным выбором пар и адаптивным управлением

MMEmb-R1: Reasoning-Enhanced Multimodal Embedding with Pair-Aware Selection and Adaptive Control

April 7, 2026

Авторы: Yuchi Wang, Haiyang Yu, Weikang Bian, Jiefeng Long, Xiao Liang, Chao Feng, Hongsheng Li

cs.AI

Аннотация

Мультимодальные большие языковые модели (MLLM) успешно применяются для задач мультимодального обучения представлений, однако их генеративные рассуждения остаются недоиспользованными. Прямое внедрение цепочек рассуждений (chain-of-thought) в обучение эмбеддингов сталкивается с двумя фундаментальными проблемами. Во-первых, структурное несоответствие между рассуждениями на уровне экземпляров и парным контрастивным обучением может привести к использованию моделями «коротких путей», когда она изучает лишь поверхностный формат рассуждений. Во-вторых, рассуждения полезны не для всех задач эмбеддингов. Принудительное применение рассуждений ко всем входам может привести к избыточным вычислениям и задержкам, а также затмить важные семантические сигналы в простых случаях. Для решения этих проблем мы предлагаем MMEmb-R1 — адаптивную мультимодальную систему эмбеддингов на основе рассуждений. Мы формализуем рассуждения как скрытую переменную и вводим парно-ориентированный выбор рассуждений, который использует контрафактическое вмешательство для идентификации полезных путей рассуждений для выравнивания запроса и цели. Кроме того, мы применяем обучение с подкреплением для выборочного запуска рассуждений только при необходимости. Эксперименты на бенчмарке MMEB-V2 показывают, что наша модель с всего 4 млрд параметров достигает результата в 71.2 балла, устанавливая новый state-of-the-art при значительном снижении вычислительных затрат на рассуждения и задержки вывода.

English

MLLMs have been successfully applied to multimodal embedding tasks, yet their generative reasoning capabilities remain underutilized. Directly incorporating chain-of-thought reasoning into embedding learning introduces two fundamental challenges. First, structural misalignment between instance-level reasoning and pairwise contrastive supervision may lead to shortcut behavior, where the model merely learns the superficial format of reasoning. Second, reasoning is not universally beneficial for embedding tasks. Enforcing reasoning for all inputs may introduce unnecessary computation and latency, and can even obscure salient semantic signals for simple cases. To address these issues, we propose MMEmb-R1, an adaptive reasoning-based multimodal embedding framework. We formulate reasoning as a latent variable and introduce pair-aware reasoning selection that employs counterfactual intervention to identify reasoning paths beneficial for query-target alignment. Furthermore, we adopt reinforcement learning to selectively invoke reasoning only when necessary. Experiments on the MMEB-V2 benchmark demonstrate that our model achieves a score of 71.2 with only 4B parameters, establishing a new state-of-the-art while significantly reducing reasoning overhead and inference latency.