Spatial-SSRL: Повышение пространственного понимания с помощью самообучающегося обучения с подкреплением

Spatial-SSRL: Enhancing Spatial Understanding via Self-Supervised Reinforcement Learning

October 31, 2025

Авторы: Yuhong Liu, Beichen Zhang, Yuhang Zang, Yuhang Cao, Long Xing, Xiaoyi Dong, Haodong Duan, Dahua Lin, Jiaqi Wang

cs.AI

Аннотация

Пространственное понимание остается слабым местом больших визуально-языковых моделей (LVLM). Существующие методы контролируемого тонкого настроя (SFT) и недавно появившиеся конвейеры обучения с подкреплением с верифицируемыми вознаграждениями (RLVR) зависят от дорогостоящей разметки, специализированных инструментов или ограниченных сред, что сдерживает масштабирование. Мы представляем Spatial-SSRL, парадигму самообучения с подкреплением, которая извлекает верифицируемые сигналы непосредственно из обычных RGB или RGB-D изображений. Spatial-SSRL автоматически формулирует пять учебных задач, фиксирующих 2D и 3D пространственную структуру: переупорядочивание перемешанных фрагментов, распознавание перевернутых фрагментов, восстановление вырезанных фрагментов, определение порядка глубины по регионам и предсказание относительного 3D положения. Эти задачи предоставляют эталонные ответы, которые легко проверить и которые не требуют аннотирования человеком или LVLM. Обучение на наших задачах существенно улучшает пространственные рассуждения, сохраняя при этом общие визуальные способности. На семи тестах пространственного понимания для изображений и видео Spatial-SSRL демонстрирует средний прирост точности на 4.63% (для 3B) и 3.89% (для 7B) по сравнению с базовыми моделями Qwen2.5-VL. Наши результаты показывают, что простая, внутренняя разметка позволяет масштабировать RLVR и предлагает практический путь к усилению пространственного интеллекта в LVLM.

English

Spatial understanding remains a weakness of Large Vision-Language Models (LVLMs). Existing supervised fine-tuning (SFT) and recent reinforcement learning with verifiable rewards (RLVR) pipelines depend on costly supervision, specialized tools, or constrained environments that limit scale. We introduce Spatial-SSRL, a self-supervised RL paradigm that derives verifiable signals directly from ordinary RGB or RGB-D images. Spatial-SSRL automatically formulates five pretext tasks that capture 2D and 3D spatial structure: shuffled patch reordering, flipped patch recognition, cropped patch inpainting, regional depth ordering, and relative 3D position prediction. These tasks provide ground-truth answers that are easy to verify and require no human or LVLM annotation. Training on our tasks substantially improves spatial reasoning while preserving general visual capabilities. On seven spatial understanding benchmarks in both image and video settings, Spatial-SSRL delivers average accuracy gains of 4.63% (3B) and 3.89% (7B) over the Qwen2.5-VL baselines. Our results show that simple, intrinsic supervision enables RLVR at scale and provides a practical route to stronger spatial intelligence in LVLMs.