Ruimtelijke Forcering: Impliciete Uitlijning van Ruimtelijke Representaties voor Visie-Taal-Actie Modellen

Spatial Forcing: Implicit Spatial Representation Alignment for Vision-language-action Model

October 14, 2025

Auteurs: Fuhao Li, Wenxuan Song, Han Zhao, Jingbo Wang, Pengxiang Ding, Donglin Wang, Long Zeng, Haoang Li

cs.AI

Samenvatting

Vision-language-action (VLA)-modellen hebben recentelijk sterk potentieel getoond in het mogelijk maken van robots om taal instructies te volgen en precieze acties uit te voeren. De meeste VLA's zijn echter gebouwd op vision-language-modellen die alleen zijn voorgetraind op 2D-data, wat een gebrek aan nauwkeurig ruimtelijk bewustzijn met zich meebrengt en hun vermogen om in de 3D-fysieke wereld te opereren belemmert. Bestaande oplossingen proberen expliciete 3D-sensorinputs zoals dieptekaarten of puntenwolken te integreren, maar deze benaderingen worden geconfronteerd met uitdagingen door sensornoise, hardwareheterogeniteit en onvolledige dieptedekking in bestaande datasets. Alternatieve methoden die 3D-aanwijzingen schatten uit 2D-beelden lijden ook onder de beperkte prestaties van diepteschatters. Wij stellen Spatial Forcing (SF) voor, een eenvoudige maar effectieve uitlijningsstrategie die VLA-modellen impliciet dwingt om ruimtelijk begripsvermogen te ontwikkelen zonder te vertrouwen op expliciete 3D-inputs of diepteschatters. SF lijn tussentijdse visuele embeddings van VLA's uit met geometrische representaties die worden geproduceerd door voorgetrainde 3D-foundationmodellen. Door uitlijning op tussentijdse lagen af te dwingen, leidt SF VLA's ertoe om rijkere ruimtelijke representaties te coderen die de actieprecisie verbeteren. Uitgebreide experimenten in simulatie- en real-world-omgevingen tonen aan dat SF state-of-the-art resultaten behaalt, en zowel 2D- als 3D-gebaseerde VLA's overtreft. SF versnelt de training verder met tot 3,8x en verbetert de data-efficiëntie over diverse robotica-taken. De projectpagina is te vinden op https://spatial-forcing.github.io/.

English

Vision-language-action (VLA) models have recently shown strong potential in enabling robots to follow language instructions and execute precise actions. However, most VLAs are built upon vision-language models pretrained solely on 2D data, which lack accurate spatial awareness and hinder their ability to operate in the 3D physical world. Existing solutions attempt to incorporate explicit 3D sensor inputs such as depth maps or point clouds, but these approaches face challenges due to sensor noise, hardware heterogeneity, and incomplete depth coverage in existing datasets. Alternative methods that estimate 3D cues from 2D images also suffer from the limited performance of depth estimators.We propose Spatial Forcing (SF), a simple yet effective alignment strategy that implicitly forces VLA models to develop spatial comprehension capabilities without relying on explicit 3D inputs or depth estimators. SF aligns intermediate visual embeddings of VLAs with geometric representations produced by pretrained 3D foundation models. By enforcing alignment at intermediate layers, SF guides VLAs to encode richer spatial representations that enhance action precision.Extensive experiments in simulation and real-world environments demonstrate that SF achieves state-of-the-art results, surpassing both 2D- and 3D-based VLAs. SF further accelerates training by up to 3.8x and improves data efficiency across diverse robotic tasks. Project page is at https://spatial-forcing.github.io/