Forzatura Spaziale: Allineamento Implicito della Rappresentazione Spaziale per Modelli Visione-Linguaggio-Azione

Spatial Forcing: Implicit Spatial Representation Alignment for Vision-language-action Model

October 14, 2025

Autori: Fuhao Li, Wenxuan Song, Han Zhao, Jingbo Wang, Pengxiang Ding, Donglin Wang, Long Zeng, Haoang Li

cs.AI

Abstract

I modelli visione-linguaggio-azione (VLA) hanno recentemente dimostrato un forte potenziale nel consentire ai robot di seguire istruzioni linguistiche ed eseguire azioni precise. Tuttavia, la maggior parte dei VLA è costruita su modelli visione-linguaggio preaddestrati esclusivamente su dati 2D, che mancano di una consapevolezza spaziale accurata e ostacolano la loro capacità di operare nel mondo fisico 3D. Le soluzioni esistenti cercano di incorporare input espliciti da sensori 3D come mappe di profondità o nuvole di punti, ma questi approcci affrontano sfide dovute al rumore dei sensori, all'eterogeneità dell'hardware e alla copertura incompleta della profondità nei dataset esistenti. Metodi alternativi che stimano indizi 3D da immagini 2D soffrono anche delle limitazioni delle prestazioni degli stimatori di profondità. Proponiamo Spatial Forcing (SF), una strategia di allineamento semplice ma efficace che costringe implicitamente i modelli VLA a sviluppare capacità di comprensione spaziale senza fare affidamento su input 3D espliciti o stimatori di profondità. SF allinea gli embedding visivi intermedi dei VLA con rappresentazioni geometriche prodotte da modelli fondazionali 3D preaddestrati. Applicando l'allineamento a livelli intermedi, SF guida i VLA a codificare rappresentazioni spaziali più ricche che migliorano la precisione delle azioni. Esperimenti estesi in ambienti simulati e reali dimostrano che SF raggiunge risultati all'avanguardia, superando sia i VLA basati su 2D che su 3D. Inoltre, SF accelera l'addestramento fino a 3,8 volte e migliora l'efficienza dei dati in una varietà di compiti robotici. La pagina del progetto è disponibile all'indirizzo https://spatial-forcing.github.io/

English

Vision-language-action (VLA) models have recently shown strong potential in enabling robots to follow language instructions and execute precise actions. However, most VLAs are built upon vision-language models pretrained solely on 2D data, which lack accurate spatial awareness and hinder their ability to operate in the 3D physical world. Existing solutions attempt to incorporate explicit 3D sensor inputs such as depth maps or point clouds, but these approaches face challenges due to sensor noise, hardware heterogeneity, and incomplete depth coverage in existing datasets. Alternative methods that estimate 3D cues from 2D images also suffer from the limited performance of depth estimators.We propose Spatial Forcing (SF), a simple yet effective alignment strategy that implicitly forces VLA models to develop spatial comprehension capabilities without relying on explicit 3D inputs or depth estimators. SF aligns intermediate visual embeddings of VLAs with geometric representations produced by pretrained 3D foundation models. By enforcing alignment at intermediate layers, SF guides VLAs to encode richer spatial representations that enhance action precision.Extensive experiments in simulation and real-world environments demonstrate that SF achieves state-of-the-art results, surpassing both 2D- and 3D-based VLAs. SF further accelerates training by up to 3.8x and improves data efficiency across diverse robotic tasks. Project page is at https://spatial-forcing.github.io/