Ver mais significa saber mais? Normalização de Vantagem Mono-Ancorada para Raciocínio Visual de Múltiplas Fontes

Resumo

O raciocínio visual por meio de aprendizado por reforço com recompensas verificáveis (RLVR) tem alcançado progressos notáveis. No entanto, ao lidar com entradas de múltiplas fontes, as abordagens existentes tendem a tratá-las como mera acumulação de informações, carecendo de mecanismos explícitos para distinguir se a integração de fontes adicionais resulta em ganho de informação ou introduz interferência. Consequentemente, elas têm dificuldade em modelar eficazmente a interação dinâmica ao integrar múltiplas fontes, particularmente quando estas diferem significativamente em propriedades físicas e semânticas, como no caso de infravermelho e profundidade, levando a um desempenho inferior ao do raciocínio monofonte quando uma determinada fonte contém o sinal dominante. Para abordar esse problema, propomos o MARS, uma nova estrutura de raciocínio multifonte ancorada em uma única fonte que modela cada modalidade visual como uma fonte de informação independente. Especificamente, ao tratar recompensas de fonte única como âncoras dinâmicas, nosso método incorpora explicitamente o ganho de informação introduzido pela fusão multifonte na normalização de vantagens e enfatiza adaptativamente a promoção mútua entre as fontes, ao mesmo tempo que suprime possíveis ruídos ou conflitos durante o RLVR. A partir de uma análise teórica, nosso método quantifica efetivamente o ganho de informação introduzido pela integração multifonte na estimativa de gradientes, permitindo uma regulação consistente das modalidades. Resultados empíricos também mostram ganhos impressionantes de desempenho de 3,2% e 4,9% no GRPO e DAPO, respectivamente, em diversos conjuntos de dados, confirmando a eficácia do nosso método.

English

Visual reasoning through reinforcement learning with verifiable rewards (RLVR) has achieved remarkable progress. However, when dealing with multi-source inputs, existing approaches tend to treat them as a mere accumulation of information, lacking explicit mechanisms to distinguish whether integrating additional sources yields information gain or introduces interference. Therefore, they struggle to effectively model dynamic interaction when integrating multiple sources, particularly when they differ significantly in physical properties and semantics, e.g., infrared and depth, leading to inferior performance to mono-source reasoning when a certain source holds the dominant signal. To address this issue, we propose MARS, a novel mono-anchored multi-source reasoning framework that models each visual modality as an independent information source. Specifically, by treating mono-source rewards as dynamic anchors, our method explicitly incorporates the information gain introduced by multi-source fusion into advantage normalization and adaptively emphasizes mutual promotion between sources while suppressing potential noise or conflicts during RLVR. From theoretical analysis, our method effectively quantifies information gain introduced by multi-source integration in gradient estimation, enabling consistent modality regulation. Empirical results also show impressive 3.2% and 4.9% performance gains on GRPO and DAPO across diverse datasets, confirming effectiveness of our method.