¿Ver más significa saber más? Normalización de Ventaja Mono-Anclada para el Razonamiento Visual Multifuente

Resumen

El razonamiento visual mediante aprendizaje por refuerzo con recompensas verificables (RLVR) ha logrado avances notables. Sin embargo, al tratar con entradas de múltiples fuentes, los enfoques existentes tienden a considerarlas como una mera acumulación de información, careciendo de mecanismos explícitos para distinguir si la integración de fuentes adicionales produce una ganancia de información o introduce interferencia. En consecuencia, presentan dificultades para modelar eficazmente la interacción dinámica al integrar múltiples fuentes, especialmente cuando estas difieren significativamente en propiedades físicas y semántica (por ejemplo, infrarrojo y profundidad), lo que conduce a un rendimiento inferior al del razonamiento mono-fuente cuando una fuente determinada contiene la señal dominante. Para abordar este problema, proponemos MARS, un novedoso marco de razonamiento multifuente anclado en una única fuente que modela cada modalidad visual como una fuente de información independiente. En concreto, al tratar las recompensas mono-fuente como anclas dinámicas, nuestro método incorpora explícitamente la ganancia de información introducida por la fusión multifuente en la normalización de la ventaja y enfatiza de forma adaptativa la promoción mutua entre fuentes, al tiempo que suprime posibles ruidos o conflictos durante el RLVR. Desde un análisis teórico, nuestro método cuantifica eficazmente la ganancia de información introducida por la integración multifuente en la estimación del gradiente, lo que permite una regulación modal consistente. Los resultados empíricos también muestran impresionantes mejoras de rendimiento del 3,2 % y el 4,9 % en GRPO y DAPO, respectivamente, en diversos conjuntos de datos, lo que confirma la efectividad de nuestro método.

English

Visual reasoning through reinforcement learning with verifiable rewards (RLVR) has achieved remarkable progress. However, when dealing with multi-source inputs, existing approaches tend to treat them as a mere accumulation of information, lacking explicit mechanisms to distinguish whether integrating additional sources yields information gain or introduces interference. Therefore, they struggle to effectively model dynamic interaction when integrating multiple sources, particularly when they differ significantly in physical properties and semantics, e.g., infrared and depth, leading to inferior performance to mono-source reasoning when a certain source holds the dominant signal. To address this issue, we propose MARS, a novel mono-anchored multi-source reasoning framework that models each visual modality as an independent information source. Specifically, by treating mono-source rewards as dynamic anchors, our method explicitly incorporates the information gain introduced by multi-source fusion into advantage normalization and adaptively emphasizes mutual promotion between sources while suppressing potential noise or conflicts during RLVR. From theoretical analysis, our method effectively quantifies information gain introduced by multi-source integration in gradient estimation, enabling consistent modality regulation. Empirical results also show impressive 3.2% and 4.9% performance gains on GRPO and DAPO across diverse datasets, confirming effectiveness of our method.