MMEmb-R1: Grundlagenverstärktes multimodales Embedding mit paarweiser Auswahl und adaptiver Steuerung
MMEmb-R1: Reasoning-Enhanced Multimodal Embedding with Pair-Aware Selection and Adaptive Control
April 7, 2026
Autoren: Yuchi Wang, Haiyang Yu, Weikang Bian, Jiefeng Long, Xiao Liang, Chao Feng, Hongsheng Li
cs.AI
Zusammenfassung
MLLMs wurden bereits erfolgreich bei multimodalen Einbettungsaufgaben eingesetzt, doch ihre generativen Reasoning-Fähigkeiten bleiben untergenutzt. Die direkte Integration von Chain-of-Thought-Reasoning in das Einbettungslernen wirft zwei grundlegende Probleme auf. Erstens kann die strukturelle Fehlausrichtung zwischen instanzenbasiertem Reasoning und paarweiser kontrastiver Überwachung zu Shortcut-Verhalten führen, bei dem das Modell lediglich das oberflächliche Format des Reasonings erlernt. Zweitens ist Reasoning nicht universell vorteilhaft für Einbettungsaufgaben. Das Erzwingen von Reasoning für alle Eingaben kann unnötige Berechnungen und Latenz verursachen und sogar relevante semantische Signale bei einfachen Fällen verschleiern. Zur Lösung dieser Probleme schlagen wir MMEmb-R1 vor, ein adaptives Reasoning-basiertes multimodales Einbettungsframework. Wir formulieren Reasoning als latente Variable und führen eine paarbezogene Reasoning-Auswahl ein, die kontrafaktische Intervention nutzt, um für die Query-Target-Ausrichtung vorteilhafte Reasoning-Pfade zu identifizieren. Zudem setzen wir bestärkendes Lernen ein, um Reasoning selektiv nur bei Bedarf aufzurufen. Experimente auf dem MMEB-V2-Benchmark zeigen, dass unser Modell mit nur 4B Parametern einen Score von 71,2 erreicht und damit einen neuen State-of-the-Art etabliert, während es den Reasoning-Overhead und die Inferenzlatenz erheblich reduziert.
English
MLLMs have been successfully applied to multimodal embedding tasks, yet their generative reasoning capabilities remain underutilized. Directly incorporating chain-of-thought reasoning into embedding learning introduces two fundamental challenges. First, structural misalignment between instance-level reasoning and pairwise contrastive supervision may lead to shortcut behavior, where the model merely learns the superficial format of reasoning. Second, reasoning is not universally beneficial for embedding tasks. Enforcing reasoning for all inputs may introduce unnecessary computation and latency, and can even obscure salient semantic signals for simple cases. To address these issues, we propose MMEmb-R1, an adaptive reasoning-based multimodal embedding framework. We formulate reasoning as a latent variable and introduce pair-aware reasoning selection that employs counterfactual intervention to identify reasoning paths beneficial for query-target alignment. Furthermore, we adopt reinforcement learning to selectively invoke reasoning only when necessary. Experiments on the MMEB-V2 benchmark demonstrate that our model achieves a score of 71.2 with only 4B parameters, establishing a new state-of-the-art while significantly reducing reasoning overhead and inference latency.