SATORI-R1: Incentivare il Ragionamento Multimodale con l'Ancoraggio Spaziale e Ricompense Verificabili

SATORI-R1: Incentivizing Multimodal Reasoning with Spatial Grounding and Verifiable Rewards

May 25, 2025

Autori: Chuming Shen, Wei Wei, Xiaoye Qu, Yu Cheng

cs.AI

Abstract

DeepSeek-R1 ha dimostrato potenti capacità di ragionamento nel dominio testuale attraverso un apprendimento per rinforzo (RL) stabile. Recentemente, nel dominio multimodale, alcuni lavori hanno iniziato ad applicare direttamente il RL per generare ragionamenti liberi simili a R1 per i compiti di Visual Question Answering (VQA). Tuttavia, i compiti multimodali presentano una natura intrinsecamente diversa rispetto a quelli testuali, che si basano fortemente sulla comprensione dell'immagine in input per risolvere il problema. Pertanto, tale ragionamento libero affronta due limitazioni critiche nel compito VQA: (1) Le catene di ragionamento estese disperdono il focus visivo dalle regioni critiche per il compito, degradando l'accuratezza delle risposte. (2) I passaggi intermedi non verificabili amplificano la varianza del gradiente della politica e i costi computazionali aggiuntivi. Per affrontare questi problemi, in questo articolo introduciamo SATORI (Spatially Anchored Task Optimization with Reinforcement Learning), che scompone il VQA in tre fasi verificabili, tra cui la descrizione globale dell'immagine, la localizzazione delle regioni e la previsione della risposta, ciascuna delle quali fornisce segnali di ricompensa espliciti. Inoltre, introduciamo anche VQA-Verify, un dataset di 12k annotato con descrizioni e bounding-box allineate alle risposte per facilitare l'addestramento. Gli esperimenti dimostrano miglioramenti consistenti delle prestazioni su sette benchmark VQA, raggiungendo un miglioramento fino al 15,7% in accuratezza rispetto alla baseline simile a R1. La nostra analisi della mappa di attenzione conferma un focus migliorato sulle regioni critiche, che porta a miglioramenti in accuratezza. Il nostro codice è disponibile all'indirizzo https://github.com/justairr/SATORI-R1.

English

DeepSeek-R1 has demonstrated powerful reasoning capabilities in the text domain through stable reinforcement learning (RL). Recently, in the multimodal domain, works have begun to directly apply RL to generate R1-like free-form reasoning for Visual Question Answering (VQA) tasks. However, multimodal tasks share an intrinsically different nature from textual tasks, which heavily rely on the understanding of the input image to solve the problem. Therefore, such free-form reasoning faces two critical limitations in the VQA task: (1) Extended reasoning chains diffuse visual focus away from task-critical regions, degrading answer accuracy. (2) Unverifiable intermediate steps amplify policy-gradient variance and computational costs overhead. To address these issues, in this paper, we introduce SATORI (Spatially Anchored Task Optimization with ReInforcement Learning), which decomposes VQA into three verifiable stages, including global image captioning, region localization, and answer prediction, each supplying explicit reward signals. Furthermore, we also introduce VQA-Verify, a 12k dataset annotated with answer-aligned captions and bounding-boxes to facilitate training. Experiments demonstrate consistent performance improvements across seven VQA benchmarks, achieving up to 15.7% improvement in accuracy in accuracy compared to the R1-like baseline. Our analysis of the attention map confirms enhanced focus on critical regions, which brings improvements in accuracy. Our code is available at https://github.com/justairr/SATORI-R1.