Spatial-SSRL: Migliorare la Comprensione Spaziale tramite Apprendimento per Rinforzo Auto-Supervisionato

Spatial-SSRL: Enhancing Spatial Understanding via Self-Supervised Reinforcement Learning

October 31, 2025

Autori: Yuhong Liu, Beichen Zhang, Yuhang Zang, Yuhang Cao, Long Xing, Xiaoyi Dong, Haodong Duan, Dahua Lin, Jiaqi Wang

cs.AI

Abstract

La comprensione spaziale rimane un punto debole dei Large Vision-Language Models (LVLM). Le pipeline esistenti di supervised fine-tuning (SFT) e le recenti tecniche di reinforcement learning con ricompense verificabili (RLVR) dipendono da supervisione costosa, strumenti specializzati o ambienti vincolati che ne limitano la scalabilità. Introduciamo Spatial-SSRL, un paradigma di RL auto-supervisionato che ricava segnali verificabili direttamente da normali immagini RGB o RGB-D. Spatial-SSRL formula automaticamente cinque compiti preliminari che catturano la struttura spaziale 2D e 3D: riordinamento di patch rimescolate, riconoscimento di patch capovolte, inpaint di patch ritagliate, ordinamento di profondità regionale e predizione di posizione 3D relativa. Questi compiti forniscono risposte di ground-truth facili da verificare e non richiedono annotazioni umane o da parte di LVLM. L'addestramento sui nostri compiti migliora sostanzialmente il ragionamento spaziale preservando le capacità visive generali. Su sette benchmark di comprensione spaziale, sia per immagini che per video, Spatial-SSRL fornisce guadagni di accuratezza medi del 4.63% (modelli da 3B) e del 3.89% (modelli da 7B) rispetto ai baseline Qwen2.5-VL. I nostri risultati dimostrano che una supervisione intrinseca e semplice abilita l'RLVR su larga scala e fornisce una via pratica per una maggiore intelligenza spaziale negli LVLM.

English

Spatial understanding remains a weakness of Large Vision-Language Models (LVLMs). Existing supervised fine-tuning (SFT) and recent reinforcement learning with verifiable rewards (RLVR) pipelines depend on costly supervision, specialized tools, or constrained environments that limit scale. We introduce Spatial-SSRL, a self-supervised RL paradigm that derives verifiable signals directly from ordinary RGB or RGB-D images. Spatial-SSRL automatically formulates five pretext tasks that capture 2D and 3D spatial structure: shuffled patch reordering, flipped patch recognition, cropped patch inpainting, regional depth ordering, and relative 3D position prediction. These tasks provide ground-truth answers that are easy to verify and require no human or LVLM annotation. Training on our tasks substantially improves spatial reasoning while preserving general visual capabilities. On seven spatial understanding benchmarks in both image and video settings, Spatial-SSRL delivers average accuracy gains of 4.63% (3B) and 3.89% (7B) over the Qwen2.5-VL baselines. Our results show that simple, intrinsic supervision enables RLVR at scale and provides a practical route to stronger spatial intelligence in LVLMs.