Spatial-SSRL：自己教師あり強化学習による空間理解の向上

要旨

大規模視覚言語モデル（LVLM）における空間理解は依然として弱点である。既存の教師ありファインチューニング（SFT）や、検証可能な報酬を用いた強化学習（RLVR）のパイプラインは、高コストな教師データ、専門的なツール、または規模を制限する制約環境に依存している。本研究では、通常のRGBまたはRGB-D画像から直接検証可能な信号を導出する自己教師ありRLパラダイム「Spatial-SSRL」を提案する。Spatial-SSRLは、2Dおよび3Dの空間構造を捉える5つの事前タスクを自動的に構築する：シャッフルされたパッチの順序再構築、反転パッチの認識、切り取られたパッチの修復、領域的な深度順序付け、および相対的な3D位置予測である。これらのタスクは、検証が容易な正解を提供し、人間やLVLMによる注釈を一切必要としない。我々のタスクによる学習は、一般的な視覚能力を維持しつつ空間推論を大幅に改善する。画像と映像の両設定における7つの空間理解ベンチマークで、Spatial-SSRLはQwen2.5-VLベースラインに対して平均精度向上を3Bモデルで4.63%、7Bモデルで3.89%達成した。本結果は、単純で内在的な教師信号が大規模なRLVRを可能にし、LVLMのより強力な空間知能への実用的な道筋を提供することを示している。

English

Spatial understanding remains a weakness of Large Vision-Language Models (LVLMs). Existing supervised fine-tuning (SFT) and recent reinforcement learning with verifiable rewards (RLVR) pipelines depend on costly supervision, specialized tools, or constrained environments that limit scale. We introduce Spatial-SSRL, a self-supervised RL paradigm that derives verifiable signals directly from ordinary RGB or RGB-D images. Spatial-SSRL automatically formulates five pretext tasks that capture 2D and 3D spatial structure: shuffled patch reordering, flipped patch recognition, cropped patch inpainting, regional depth ordering, and relative 3D position prediction. These tasks provide ground-truth answers that are easy to verify and require no human or LVLM annotation. Training on our tasks substantially improves spatial reasoning while preserving general visual capabilities. On seven spatial understanding benchmarks in both image and video settings, Spatial-SSRL delivers average accuracy gains of 4.63% (3B) and 3.89% (7B) over the Qwen2.5-VL baselines. Our results show that simple, intrinsic supervision enables RLVR at scale and provides a practical route to stronger spatial intelligence in LVLMs.

Spatial-SSRL：自己教師あり強化学習による空間理解の向上

Spatial-SSRL: Enhancing Spatial Understanding via Self-Supervised Reinforcement Learning

要旨

Support