空間的強制：視覚-言語-行動モデルのための暗黙的空間表現の整合
Spatial Forcing: Implicit Spatial Representation Alignment for Vision-language-action Model
October 14, 2025
著者: Fuhao Li, Wenxuan Song, Han Zhao, Jingbo Wang, Pengxiang Ding, Donglin Wang, Long Zeng, Haoang Li
cs.AI
要旨
視覚-言語-行動（VLA）モデルは、ロボットが言語指示に従い精密な動作を実行する能力を実現する上で、最近大きな可能性を示している。しかし、ほとんどのVLAモデルは2Dデータのみで事前学習された視覚-言語モデルに基づいて構築されており、正確な空間認識を欠いており、3D物理世界での動作能力を妨げている。既存の解決策は、深度マップや点群などの明示的な3Dセンサー入力を組み込むことを試みているが、これらのアプローチはセンサー雑音、ハードウェアの多様性、既存データセットにおける深度カバレッジの不完全さといった課題に直面している。2D画像から3D手がかりを推定する代替手法も、深度推定器の性能の限界に悩まされている。本研究では、明示的な3D入力や深度推定器に依存せずに、VLAモデルが空間理解能力を発展させることを暗黙的に促す、シンプルかつ効果的なアラインメント戦略であるSpatial Forcing（SF）を提案する。SFは、事前学習された3D基盤モデルによって生成された幾何学的表現と、VLAの中間視覚埋め込みを整合させる。中間層での整合を強制することで、SFはVLAがより豊かな空間表現をエンコードし、動作精度を向上させるよう導く。シミュレーションおよび実環境における広範な実験により、SFが2Dおよび3DベースのVLAモデルを上回る最先端の結果を達成することが示された。さらに、SFはトレーニングを最大3.8倍加速し、多様なロボットタスクにおけるデータ効率を向上させる。プロジェクトページはhttps://spatial-forcing.github.io/にて公開されている。
English
Vision-language-action (VLA) models have recently shown strong potential in
enabling robots to follow language instructions and execute precise actions.
However, most VLAs are built upon vision-language models pretrained solely on
2D data, which lack accurate spatial awareness and hinder their ability to
operate in the 3D physical world. Existing solutions attempt to incorporate
explicit 3D sensor inputs such as depth maps or point clouds, but these
approaches face challenges due to sensor noise, hardware heterogeneity, and
incomplete depth coverage in existing datasets. Alternative methods that
estimate 3D cues from 2D images also suffer from the limited performance of
depth estimators.We propose Spatial Forcing (SF), a simple yet effective
alignment strategy that implicitly forces VLA models to develop spatial
comprehension capabilities without relying on explicit 3D inputs or depth
estimators. SF aligns intermediate visual embeddings of VLAs with geometric
representations produced by pretrained 3D foundation models. By enforcing
alignment at intermediate layers, SF guides VLAs to encode richer spatial
representations that enhance action precision.Extensive experiments in
simulation and real-world environments demonstrate that SF achieves
state-of-the-art results, surpassing both 2D- and 3D-based VLAs. SF further
accelerates training by up to 3.8x and improves data efficiency across diverse
robotic tasks. Project page is at https://spatial-forcing.github.io/