Bedeutet mehr Sehen mehr Wissen? Mono-Anchored Advantage Normalization für Multi-Source Visual Reasoning

Zusammenfassung

Visuelles Schlussfolgern durch Bestärkungslernen mit überprüfbaren Belohnungen (RLVR) hat bemerkenswerte Fortschritte erzielt. Bei der Verarbeitung mehrquelliger Eingaben neigen bestehende Ansätze jedoch dazu, diese als bloße Ansammlung von Informationen zu betrachten, ohne explizite Mechanismen, um zu unterscheiden, ob die Integration zusätzlicher Quellen einen Informationsgewinn oder Störungen verursacht. Daher fällt es ihnen schwer, die dynamische Interaktion bei der Integration mehrerer Quellen effektiv zu modellieren, insbesondere wenn diese sich in ihren physikalischen Eigenschaften und ihrer Semantik erheblich unterscheiden, z. B. Infrarot und Tiefe. Dies führt zu einer schlechteren Leistung im Vergleich zum monoquelligen Schlussfolgern, wenn eine bestimmte Quelle das dominante Signal liefert. Um dieses Problem zu lösen, schlagen wir MARS vor, ein neuartiges monoverankertes mehrquelliges Schlussfolgerungsframework, das jede visuelle Modalität als unabhängige Informationsquelle modelliert. Indem unsere Methode monoquellige Belohnungen als dynamische Anker betrachtet, wird der durch die Mehrquellenfusion eingeführte Informationsgewinn explizit in die Vorteilsnormalisierung einbezogen. Dabei wird die gegenseitige Förderung zwischen den Quellen adaptiv betont, während potenzielles Rauschen oder Konflikte während des RLVR unterdrückt werden. Theoretische Analysen zeigen, dass unsere Methode den durch die Mehrquellenintegration eingeführten Informationsgewinn in der Gradientenschätzung effektiv quantifiziert und so eine konsistente Modalitätsregulierung ermöglicht. Empirische Ergebnisse belegen ebenfalls beeindruckende Leistungssteigerungen von 3,2 % und 4,9 % bei GRPO und DAPO über verschiedene Datensätze hinweg und bestätigen die Wirksamkeit unserer Methode.

English

Visual reasoning through reinforcement learning with verifiable rewards (RLVR) has achieved remarkable progress. However, when dealing with multi-source inputs, existing approaches tend to treat them as a mere accumulation of information, lacking explicit mechanisms to distinguish whether integrating additional sources yields information gain or introduces interference. Therefore, they struggle to effectively model dynamic interaction when integrating multiple sources, particularly when they differ significantly in physical properties and semantics, e.g., infrared and depth, leading to inferior performance to mono-source reasoning when a certain source holds the dominant signal. To address this issue, we propose MARS, a novel mono-anchored multi-source reasoning framework that models each visual modality as an independent information source. Specifically, by treating mono-source rewards as dynamic anchors, our method explicitly incorporates the information gain introduced by multi-source fusion into advantage normalization and adaptively emphasizes mutual promotion between sources while suppressing potential noise or conflicts during RLVR. From theoretical analysis, our method effectively quantifies information gain introduced by multi-source integration in gradient estimation, enabling consistent modality regulation. Empirical results also show impressive 3.2% and 4.9% performance gains on GRPO and DAPO across diverse datasets, confirming effectiveness of our method.