Räumliche Einwirkung: Implizite räumliche Repräsentationsausrichtung für Vision-Sprache-Handlungs-Modelle

Spatial Forcing: Implicit Spatial Representation Alignment for Vision-language-action Model

October 14, 2025

papers.authors: Fuhao Li, Wenxuan Song, Han Zhao, Jingbo Wang, Pengxiang Ding, Donglin Wang, Long Zeng, Haoang Li

cs.AI

papers.abstract

Vision-Language-Action (VLA)-Modelle haben kürzlich ein großes Potenzial gezeigt, wenn es darum geht, Robotern das Befolgen von Sprachbefehlen und die Ausführung präziser Aktionen zu ermöglichen. Die meisten VLA-Modelle basieren jedoch auf Vision-Language-Modellen, die ausschließlich auf 2D-Daten vortrainiert wurden, was zu einem Mangel an präziser räumlicher Wahrnehmung führt und ihre Fähigkeit beeinträchtigt, in der dreidimensionalen physischen Welt zu agieren. Bestehende Lösungsansätze versuchen, explizite 3D-Sensoreingaben wie Tiefenkarten oder Punktwolken zu integrieren, doch diese Ansätze stehen vor Herausforderungen aufgrund von Sensorrauschen, Hardware-Heterogenität und unvollständiger Tiefenabdeckung in vorhandenen Datensätzen. Alternative Methoden, die 3D-Informationen aus 2D-Bildern schätzen, leiden ebenfalls unter der begrenzten Leistungsfähigkeit von Tiefenschätzern. Wir schlagen Spatial Forcing (SF) vor, eine einfache, aber effektive Ausrichtungsstrategie, die VLA-Modelle implizit dazu zwingt, räumliche Verständnisfähigkeiten zu entwickeln, ohne auf explizite 3D-Eingaben oder Tiefenschätzer angewiesen zu sein. SF richtet die intermediären visuellen Einbettungen von VLA-Modellen mit geometrischen Repräsentationen aus, die von vortrainierten 3D-Foundation-Modellen erzeugt werden. Durch die Erzwingung der Ausrichtung in intermediären Schichten leitet SF VLA-Modelle an, reichhaltigere räumliche Repräsentationen zu kodieren, die die Handlungspräzision verbessern. Umfangreiche Experimente in Simulations- und realen Umgebungen zeigen, dass SF state-of-the-art Ergebnisse erzielt und sowohl 2D- als auch 3D-basierte VLA-Modelle übertrifft. SF beschleunigt das Training um bis zu das 3,8-fache und verbessert die Dateneffizienz über diverse robotische Aufgaben hinweg. Die Projektseite ist unter https://spatial-forcing.github.io/ verfügbar.

English

Vision-language-action (VLA) models have recently shown strong potential in enabling robots to follow language instructions and execute precise actions. However, most VLAs are built upon vision-language models pretrained solely on 2D data, which lack accurate spatial awareness and hinder their ability to operate in the 3D physical world. Existing solutions attempt to incorporate explicit 3D sensor inputs such as depth maps or point clouds, but these approaches face challenges due to sensor noise, hardware heterogeneity, and incomplete depth coverage in existing datasets. Alternative methods that estimate 3D cues from 2D images also suffer from the limited performance of depth estimators.We propose Spatial Forcing (SF), a simple yet effective alignment strategy that implicitly forces VLA models to develop spatial comprehension capabilities without relying on explicit 3D inputs or depth estimators. SF aligns intermediate visual embeddings of VLAs with geometric representations produced by pretrained 3D foundation models. By enforcing alignment at intermediate layers, SF guides VLAs to encode richer spatial representations that enhance action precision.Extensive experiments in simulation and real-world environments demonstrate that SF achieves state-of-the-art results, surpassing both 2D- and 3D-based VLAs. SF further accelerates training by up to 3.8x and improves data efficiency across diverse robotic tasks. Project page is at https://spatial-forcing.github.io/