Spatial-SSRL: Mejora de la Comprensión Espacial mediante Aprendizaje por Refuerzo Autosupervisado
Spatial-SSRL: Enhancing Spatial Understanding via Self-Supervised Reinforcement Learning
October 31, 2025
Autores: Yuhong Liu, Beichen Zhang, Yuhang Zang, Yuhang Cao, Long Xing, Xiaoyi Dong, Haodong Duan, Dahua Lin, Jiaqi Wang
cs.AI
Resumen
La comprensión espacial sigue siendo una debilidad de los Grandes Modelos de Lenguaje y Visión (LVLM). Los pipelines existentes de ajuste fino supervisado (SFT) y los recientes de aprendizaje por refuerzo con recompensas verificables (RLVR) dependen de supervisión costosa, herramientas especializadas o entornos restringidos que limitan la escalabilidad. Introducimos Spatial-SSRL, un paradigma de aprendizaje por refuerzo auto-supervisado que obtiene señales verificables directamente de imágenes RGB o RGB-D ordinarias. Spatial-SSRL formula automáticamente cinco tareas de pretexto que capturan la estructura espacial 2D y 3D: reordenamiento de parches mezclados, reconocimiento de parches volteados, restauración de parches recortados, ordenamiento de profundidad regional y predicción de posición 3D relativa. Estas tareas proporcionan respuestas de referencia que son fáciles de verificar y no requieren anotación humana o por parte de un LVLM. El entrenamiento en nuestras tareas mejora sustancialmente el razonamiento espacial mientras preserva las capacidades visuales generales. En siete benchmarks de comprensión espacial, tanto en configuraciones de imagen como de video, Spatial-SSRL logra ganancias promedio de precisión de 4.63% (3B) y 3.89% (7B) sobre las líneas base de Qwen2.5-VL. Nuestros resultados demuestran que una supervisión intrínseca y simple permite el RLVR a escala y proporciona una ruta práctica hacia una inteligencia espacial más robusta en los LVLM.
English
Spatial understanding remains a weakness of Large Vision-Language Models
(LVLMs). Existing supervised fine-tuning (SFT) and recent reinforcement
learning with verifiable rewards (RLVR) pipelines depend on costly supervision,
specialized tools, or constrained environments that limit scale. We introduce
Spatial-SSRL, a self-supervised RL paradigm that derives verifiable signals
directly from ordinary RGB or RGB-D images. Spatial-SSRL automatically
formulates five pretext tasks that capture 2D and 3D spatial structure:
shuffled patch reordering, flipped patch recognition, cropped patch inpainting,
regional depth ordering, and relative 3D position prediction. These tasks
provide ground-truth answers that are easy to verify and require no human or
LVLM annotation. Training on our tasks substantially improves spatial reasoning
while preserving general visual capabilities. On seven spatial understanding
benchmarks in both image and video settings, Spatial-SSRL delivers average
accuracy gains of 4.63% (3B) and 3.89% (7B) over the Qwen2.5-VL baselines. Our
results show that simple, intrinsic supervision enables RLVR at scale and
provides a practical route to stronger spatial intelligence in LVLMs.