SATORI-R1: Стимулирование мультимодального мышления с пространственной привязкой и проверяемыми вознаграждениями

SATORI-R1: Incentivizing Multimodal Reasoning with Spatial Grounding and Verifiable Rewards

May 25, 2025

Авторы: Chuming Shen, Wei Wei, Xiaoye Qu, Yu Cheng

cs.AI

Аннотация

DeepSeek-R1 продемонстрировал мощные способности к рассуждению в текстовой области благодаря стабильному обучению с подкреплением (RL). В последнее время в мультимодальной области начали напрямую применять RL для генерации свободных рассуждений, подобных R1, в задачах визуального ответа на вопросы (VQA). Однако мультимодальные задачи имеют принципиально иную природу по сравнению с текстовыми, поскольку они в значительной степени зависят от понимания входного изображения для решения задачи. Таким образом, такие свободные рассуждения сталкиваются с двумя критическими ограничениями в задаче VQA: (1) Расширенные цепочки рассуждений отвлекают визуальное внимание от критически важных областей, что снижает точность ответов. (2) Непроверяемые промежуточные шаги увеличивают дисперсию градиента политики и накладные расходы на вычисления. Для решения этих проблем в данной статье мы представляем SATORI (Spatially Anchored Task Optimization with Reinforcement Learning), который разбивает VQA на три проверяемых этапа, включая глобальное описание изображения, локализацию областей и предсказание ответа, каждый из которых предоставляет явные сигналы вознаграждения. Кроме того, мы также представляем VQA-Verify, набор данных объемом 12 тыс. примеров, аннотированных описаниями и ограничивающими рамками, соответствующими ответам, для облегчения обучения. Эксперименты демонстрируют последовательное улучшение производительности на семи тестовых наборах VQA, достигая улучшения точности до 15,7% по сравнению с базовым подходом, подобным R1. Наш анализ карты внимания подтверждает усиление фокуса на критически важных областях, что приводит к повышению точности. Наш код доступен по адресу https://github.com/justairr/SATORI-R1.

English

DeepSeek-R1 has demonstrated powerful reasoning capabilities in the text domain through stable reinforcement learning (RL). Recently, in the multimodal domain, works have begun to directly apply RL to generate R1-like free-form reasoning for Visual Question Answering (VQA) tasks. However, multimodal tasks share an intrinsically different nature from textual tasks, which heavily rely on the understanding of the input image to solve the problem. Therefore, such free-form reasoning faces two critical limitations in the VQA task: (1) Extended reasoning chains diffuse visual focus away from task-critical regions, degrading answer accuracy. (2) Unverifiable intermediate steps amplify policy-gradient variance and computational costs overhead. To address these issues, in this paper, we introduce SATORI (Spatially Anchored Task Optimization with ReInforcement Learning), which decomposes VQA into three verifiable stages, including global image captioning, region localization, and answer prediction, each supplying explicit reward signals. Furthermore, we also introduce VQA-Verify, a 12k dataset annotated with answer-aligned captions and bounding-boxes to facilitate training. Experiments demonstrate consistent performance improvements across seven VQA benchmarks, achieving up to 15.7% improvement in accuracy in accuracy compared to the R1-like baseline. Our analysis of the attention map confirms enhanced focus on critical regions, which brings improvements in accuracy. Our code is available at https://github.com/justairr/SATORI-R1.