Spatial-SSRL : Amélioration de la compréhension spatiale par l'apprentissage par renforcement auto-supervisé

Spatial-SSRL: Enhancing Spatial Understanding via Self-Supervised Reinforcement Learning

October 31, 2025

papers.authors: Yuhong Liu, Beichen Zhang, Yuhang Zang, Yuhang Cao, Long Xing, Xiaoyi Dong, Haodong Duan, Dahua Lin, Jiaqi Wang

cs.AI

papers.abstract

La compréhension spatiale demeure un point faible des grands modèles vision-langage (LVLM). Les pipelines existants de fine-tuning supervisé (SFT) et les approches récentes d'apprentissage par renforcement avec récompenses vérifiables (RLVR) dépendent d'une supervision coûteuse, d'outils spécialisés ou d'environnements contraints qui limitent leur passage à l'échelle. Nous présentons Spatial-SSRL, un paradigme d'apprentissage par renforcement auto-supervisé qui tire des signaux vérifiables directement d'images RVB ou RVB-D ordinaires. Spatial-SSRL formule automatiquement cinq tâches prétextes qui capturent la structure spatiale 2D et 3D : réorganisation de patchs mélangés, reconnaissance de patchs inversés, inpainting de patchs rognés, ordonnancement des profondeurs régionales et prédiction de position 3D relative. Ces tâches fournissent des réponses de référence faciles à vérifier et ne nécessitent aucune annotation humaine ou par LVLM. L'entraînement sur nos tâches améliore considérablement le raisonnement spatial tout en préservant les capacités visuelles générales. Sur sept benchmarks de compréhension spatiale en contexte image et vidéo, Spatial-SSRL apporte des gains de précision moyens de 4,63 % (3B) et 3,89 % (7B) par rapport aux modèles de référence Qwen2.5-VL. Nos résultats montrent qu'une supervision intrinsèque simple permet la RLVR à grande échelle et offre une voie pratique vers une intelligence spatiale plus robuste dans les LVLM.

English

Spatial understanding remains a weakness of Large Vision-Language Models (LVLMs). Existing supervised fine-tuning (SFT) and recent reinforcement learning with verifiable rewards (RLVR) pipelines depend on costly supervision, specialized tools, or constrained environments that limit scale. We introduce Spatial-SSRL, a self-supervised RL paradigm that derives verifiable signals directly from ordinary RGB or RGB-D images. Spatial-SSRL automatically formulates five pretext tasks that capture 2D and 3D spatial structure: shuffled patch reordering, flipped patch recognition, cropped patch inpainting, regional depth ordering, and relative 3D position prediction. These tasks provide ground-truth answers that are easy to verify and require no human or LVLM annotation. Training on our tasks substantially improves spatial reasoning while preserving general visual capabilities. On seven spatial understanding benchmarks in both image and video settings, Spatial-SSRL delivers average accuracy gains of 4.63% (3B) and 3.89% (7B) over the Qwen2.5-VL baselines. Our results show that simple, intrinsic supervision enables RLVR at scale and provides a practical route to stronger spatial intelligence in LVLMs.