Betekent meer zien meer weten? Monoverankerde voordeelnormalisatie voor multibron visueel redeneren

Samenvatting

Visuele redenering via reinforcement learning met verifieerbare beloningen (RLVR) heeft opmerkelijke vooruitgang geboekt. Bij het omgaan met multi-bron invoer hebben bestaande benaderingen echter de neiging om deze te behandelen als een loutere opeenstapeling van informatie, zonder expliciete mechanismen om onderscheid te maken of het integreren van extra bronnen informatiewinst of interferentie oplevert. Hierdoor kunnen ze dynamische interactie bij het integreren van meerdere bronnen niet effectief modelleren, vooral wanneer deze aanzienlijk verschillen in fysieke eigenschappen en semantiek, bijvoorbeeld infrarood en diepte, wat leidt tot inferieure prestaties vergeleken met mono-bron redenering wanneer een bepaalde bron het dominante signaal heeft. Om dit probleem aan te pakken, stellen wij MARS voor, een nieuw mono-verankerd multi-bron redeneerframework dat elke visuele modaliteit modelleert als een onafhankelijke informatiebron. Door mono-bron beloningen te behandelen als dynamische ankers, neemt onze methode expliciet de informatiewinst die wordt geïntroduceerd door multi-bron fusie op in de voordeelnormalisatie en benadrukt ze adaptief wederzijdse bevordering tussen bronnen, terwijl potentiële ruis of conflicten tijdens RLVR worden onderdrukt. Uit theoretische analyse blijkt dat onze methode effectief de informatiewinst kwantificeert die door multi-bron integratie wordt geïntroduceerd in de gradiëntschatting, wat consistente modaliteitsregulering mogelijk maakt. Empirische resultaten tonen ook indrukwekkende prestatieverbeteringen van 3,2% en 4,9% op respectievelijk GRPO en DAPO over diverse datasets, wat de effectiviteit van onze methode bevestigt.

English

Visual reasoning through reinforcement learning with verifiable rewards (RLVR) has achieved remarkable progress. However, when dealing with multi-source inputs, existing approaches tend to treat them as a mere accumulation of information, lacking explicit mechanisms to distinguish whether integrating additional sources yields information gain or introduces interference. Therefore, they struggle to effectively model dynamic interaction when integrating multiple sources, particularly when they differ significantly in physical properties and semantics, e.g., infrared and depth, leading to inferior performance to mono-source reasoning when a certain source holds the dominant signal. To address this issue, we propose MARS, a novel mono-anchored multi-source reasoning framework that models each visual modality as an independent information source. Specifically, by treating mono-source rewards as dynamic anchors, our method explicitly incorporates the information gain introduced by multi-source fusion into advantage normalization and adaptively emphasizes mutual promotion between sources while suppressing potential noise or conflicts during RLVR. From theoretical analysis, our method effectively quantifies information gain introduced by multi-source integration in gradient estimation, enabling consistent modality regulation. Empirical results also show impressive 3.2% and 4.9% performance gains on GRPO and DAPO across diverse datasets, confirming effectiveness of our method.