공간-SSRL: 자기 지도 강화 학습을 통한 공간 이해 향상

Spatial-SSRL: Enhancing Spatial Understanding via Self-Supervised Reinforcement Learning

October 31, 2025

저자: Yuhong Liu, Beichen Zhang, Yuhang Zang, Yuhang Cao, Long Xing, Xiaoyi Dong, Haodong Duan, Dahua Lin, Jiaqi Wang

cs.AI

초록

공간 이해는 대규모 시각-언어 모델(LVLM)의 약점으로 남아 있습니다. 기존의 지도 미세 조정(SFT)과 최근의 검증 가능한 보상을 활용한 강화 학습(RLVR) 파이프라인은 비용이 많이 드는 감독, 전문 도구, 또는 규모 확장을 제한하는 제약된 환경에 의존합니다. 본 연구에서는 일반 RGB 또는 RGB-D 이미지에서 직접 검증 가능한 신호를 도출하는 자기 지도 강화 학습 패러다임인 Spatial-SSRL을 소개합니다. Spatial-SSRL은 2D 및 3D 공간 구조를 포착하는 다섯 가지 프리텍스트 작업(패치 셔플 재정렬, 패치 뒤집기 인식, 패치 크롭핑 인페인팅, 지역적 깊이 순서 지정, 상대적 3D 위치 예측)을 자동으로 구성합니다. 이러한 작업들은 인간 또는 LVLM 주석이 필요 없이 쉽게 검증 가능한 정답을 제공합니다. 우리의 작업을 통해 학습하면 일반적인 시각 능력을 유지하면서 공간 추론 능력이 크게 향상됩니다. 이미지 및 비디오 설정의 7가지 공간 이해 벤치마크에서 Spatial-SSRL은 Qwen2.5-VL 기준선 대비 3B 모델에서 4.63%, 7B 모델에서 3.89%의 평균 정확도 향상을 달성했습니다. 우리의 결과는 단순하고 내재적인 감독이 대규모 RLVR을 가능하게 하며 LVLM의 더 강력한 공간 지능을 위한 실용적인 경로를 제공함을 보여줍니다.

English

Spatial understanding remains a weakness of Large Vision-Language Models (LVLMs). Existing supervised fine-tuning (SFT) and recent reinforcement learning with verifiable rewards (RLVR) pipelines depend on costly supervision, specialized tools, or constrained environments that limit scale. We introduce Spatial-SSRL, a self-supervised RL paradigm that derives verifiable signals directly from ordinary RGB or RGB-D images. Spatial-SSRL automatically formulates five pretext tasks that capture 2D and 3D spatial structure: shuffled patch reordering, flipped patch recognition, cropped patch inpainting, regional depth ordering, and relative 3D position prediction. These tasks provide ground-truth answers that are easy to verify and require no human or LVLM annotation. Training on our tasks substantially improves spatial reasoning while preserving general visual capabilities. On seven spatial understanding benchmarks in both image and video settings, Spatial-SSRL delivers average accuracy gains of 4.63% (3B) and 3.89% (7B) over the Qwen2.5-VL baselines. Our results show that simple, intrinsic supervision enables RLVR at scale and provides a practical route to stronger spatial intelligence in LVLMs.