Spatial-SSRL: Verbetering van Ruimtelijk Begrip via Zelf-gesuperviseerd Versterkingsleren

Spatial-SSRL: Enhancing Spatial Understanding via Self-Supervised Reinforcement Learning

October 31, 2025

Auteurs: Yuhong Liu, Beichen Zhang, Yuhang Zang, Yuhang Cao, Long Xing, Xiaoyi Dong, Haodong Duan, Dahua Lin, Jiaqi Wang

cs.AI

Samenvatting

Ruimtelijk inzicht blijft een zwak punt van Grote Vision-Laagmodellen (LVLM's). Bestaande pijplijnen voor supervised fine-tuning (SFT) en recente reinforcement learning met verifieerbare beloningen (RLVR) zijn afhankelijk van kostbare supervisie, gespecialiseerde tools of beperkende omgevingen die de schaalbaarheid belemmeren. Wij introduceren Spatial-SSRL, een zelfgesuperviseerd RL-paradigma dat verifieerbare signalen direct uit gewone RGB- of RGB-D beelden afleidt. Spatial-SSRL formuleert automatisch vijf pretext-taken die 2D- en 3D-ruimtelijke structuur vastleggen: herordening van geschudde patches, herkenning van gespiegelde patches, invullen van uitgeknipte patches, regionale diepte-ordening en voorspelling van relatieve 3D-positie. Deze taken bieden grond-waarheid-antwoorden die eenvoudig te verifiëren zijn en geen menselijke of LVLM-annotatie vereisen. Training op onze taken verbetert het ruimtelijk redeneren aanzienlijk, terwijl de algemene visuele capaciteiten behouden blijven. Op zeven benchmarks voor ruimtelijk begrip in zowel beeld- als video-instellingen levert Spatial-SSRL gemiddelde nauwkeurigheidswinsten op van 4.63% (3B) en 3.89% (7B) ten opzichte van de Qwen2.5-VL-baselines. Onze resultaten tonen aan dat eenvoudige, intrinsieke supervisie RLVR op grote schaal mogelijk maakt en een praktische route biedt naar sterker ruimtelijk inzicht in LVLM's.

English

Spatial understanding remains a weakness of Large Vision-Language Models (LVLMs). Existing supervised fine-tuning (SFT) and recent reinforcement learning with verifiable rewards (RLVR) pipelines depend on costly supervision, specialized tools, or constrained environments that limit scale. We introduce Spatial-SSRL, a self-supervised RL paradigm that derives verifiable signals directly from ordinary RGB or RGB-D images. Spatial-SSRL automatically formulates five pretext tasks that capture 2D and 3D spatial structure: shuffled patch reordering, flipped patch recognition, cropped patch inpainting, regional depth ordering, and relative 3D position prediction. These tasks provide ground-truth answers that are easy to verify and require no human or LVLM annotation. Training on our tasks substantially improves spatial reasoning while preserving general visual capabilities. On seven spatial understanding benchmarks in both image and video settings, Spatial-SSRL delivers average accuracy gains of 4.63% (3B) and 3.89% (7B) over the Qwen2.5-VL baselines. Our results show that simple, intrinsic supervision enables RLVR at scale and provides a practical route to stronger spatial intelligence in LVLMs.