Forçage spatial : Alignement implicite de la représentation spatiale pour un modèle vision-langage-action

papers.abstract

Les modèles vision-langage-action (VLA) ont récemment démontré un fort potentiel pour permettre aux robots de suivre des instructions linguistiques et d'exécuter des actions précises. Cependant, la plupart des VLA sont construits sur des modèles vision-langage pré-entraînés uniquement sur des données 2D, ce qui limite leur conscience spatiale précise et entrave leur capacité à opérer dans le monde physique en 3D. Les solutions existantes tentent d'intégrer des entrées explicites de capteurs 3D, telles que des cartes de profondeur ou des nuages de points, mais ces approches rencontrent des défis liés au bruit des capteurs, à l'hétérogénéité du matériel et à la couverture incomplète de la profondeur dans les jeux de données existants. Les méthodes alternatives qui estiment des indices 3D à partir d'images 2D souffrent également des performances limitées des estimateurs de profondeur. Nous proposons le Forçage Spatial (SF), une stratégie d'alignement simple mais efficace qui force implicitement les modèles VLA à développer des capacités de compréhension spatiale sans s'appuyer sur des entrées 3D explicites ou des estimateurs de profondeur. SF aligne les embeddings visuels intermédiaires des VLA avec des représentations géométriques produites par des modèles de fondation 3D pré-entraînés. En imposant un alignement au niveau des couches intermédiaires, SF guide les VLA à encoder des représentations spatiales plus riches, améliorant ainsi la précision des actions. Des expériences approfondies en simulation et dans des environnements réels démontrent que SF atteint des résultats de pointe, surpassant à la fois les VLA basés sur des données 2D et 3D. SF accélère en outre l'entraînement jusqu'à 3,8 fois et améliore l'efficacité des données pour diverses tâches robotiques. La page du projet est disponible à l'adresse suivante : https://spatial-forcing.github.io/

English

Vision-language-action (VLA) models have recently shown strong potential in enabling robots to follow language instructions and execute precise actions. However, most VLAs are built upon vision-language models pretrained solely on 2D data, which lack accurate spatial awareness and hinder their ability to operate in the 3D physical world. Existing solutions attempt to incorporate explicit 3D sensor inputs such as depth maps or point clouds, but these approaches face challenges due to sensor noise, hardware heterogeneity, and incomplete depth coverage in existing datasets. Alternative methods that estimate 3D cues from 2D images also suffer from the limited performance of depth estimators.We propose Spatial Forcing (SF), a simple yet effective alignment strategy that implicitly forces VLA models to develop spatial comprehension capabilities without relying on explicit 3D inputs or depth estimators. SF aligns intermediate visual embeddings of VLAs with geometric representations produced by pretrained 3D foundation models. By enforcing alignment at intermediate layers, SF guides VLAs to encode richer spatial representations that enhance action precision.Extensive experiments in simulation and real-world environments demonstrate that SF achieves state-of-the-art results, surpassing both 2D- and 3D-based VLAs. SF further accelerates training by up to 3.8x and improves data efficiency across diverse robotic tasks. Project page is at https://spatial-forcing.github.io/

Forçage spatial : Alignement implicite de la représentation spatiale pour un modèle vision-langage-action

Spatial Forcing: Implicit Spatial Representation Alignment for Vision-language-action Model

papers.abstract

Support