Значит ли видеть больше — знать больше? Моно-якорная нормализация преимущества для многоисточникового визуального рассуждения

Аннотация

Визуальное рассуждение с помощью обучения с подкреплением на основе проверяемых наград (RLVR) достигло значительных успехов. Однако при работе с мульти-источными данными существующие подходы, как правило, рассматривают их как простое накопление информации, не имея явных механизмов для различения того, приносит ли добавление дополнительных источников прирост информации или вносит помехи. В результате им сложно эффективно моделировать динамическое взаимодействие при интеграции нескольких источников, особенно когда они существенно различаются по физическим свойствам и семантике, например, инфракрасный и глубинный каналы, что приводит к худшей производительности по сравнению с одно-источным рассуждением, когда доминирующий сигнал содержится в определённом источнике. Для решения этой проблемы мы предлагаем MARS — новую одно-якорную платформу для рассуждения с несколькими источниками, которая моделирует каждую визуальную модальность как независимый источник информации. В частности, рассматривая одно-источные награды как динамические якоря, наш метод явно включает прирост информации, полученный от слияния нескольких источников, в нормализацию преимущества и адаптивно подчёркивает взаимное усиление источников, одновременно подавляя потенциальный шум или конфликты в процессе RLVR. Теоретический анализ показывает, что наш метод эффективно количественно оценивает прирост информации, вносимый интеграцией нескольких источников в оценку градиента, что обеспечивает согласованную регуляцию модальностей. Эмпирические результаты также демонстрируют впечатляющий прирост производительности на 3,2% и 4,9% для методов GRPO и DAPO на различных наборах данных, подтверждая эффективность нашего подхода.

English

Visual reasoning through reinforcement learning with verifiable rewards (RLVR) has achieved remarkable progress. However, when dealing with multi-source inputs, existing approaches tend to treat them as a mere accumulation of information, lacking explicit mechanisms to distinguish whether integrating additional sources yields information gain or introduces interference. Therefore, they struggle to effectively model dynamic interaction when integrating multiple sources, particularly when they differ significantly in physical properties and semantics, e.g., infrared and depth, leading to inferior performance to mono-source reasoning when a certain source holds the dominant signal. To address this issue, we propose MARS, a novel mono-anchored multi-source reasoning framework that models each visual modality as an independent information source. Specifically, by treating mono-source rewards as dynamic anchors, our method explicitly incorporates the information gain introduced by multi-source fusion into advantage normalization and adaptively emphasizes mutual promotion between sources while suppressing potential noise or conflicts during RLVR. From theoretical analysis, our method effectively quantifies information gain introduced by multi-source integration in gradient estimation, enabling consistent modality regulation. Empirical results also show impressive 3.2% and 4.9% performance gains on GRPO and DAPO across diverse datasets, confirming effectiveness of our method.