Dallo Spaziale alle Azioni: Ancorare il Modello Visione-Linguaggio-Azione ai Priori Fondazionali Spaziali

From Spatial to Actions: Grounding Vision-Language-Action Model in Spatial Foundation Priors

October 20, 2025

Autori: Zhengshen Zhang, Hao Li, Yalun Dai, Zhengbang Zhu, Lei Zhou, Chenchen Liu, Dong Wang, Francis E. H. Tay, Sijin Chen, Ziwei Liu, Yuxiao Liu, Xinghang Li, Pan Zhou

cs.AI

Abstract

I modelli visione-linguaggio-azione (VLA) esistenti operano nel mondo reale 3D ma sono tipicamente costruiti su encoder 2D, lasciando un divario nel ragionamento spaziale che ne limita la generalizzazione e l'adattabilità. Le recenti tecniche di integrazione 3D per i VLA richiedono sensori specializzati e si trasferiscono male tra le modalità, oppure iniettano segnali deboli privi di geometria che degradano l'allineamento visione-linguaggio. In questo lavoro, introduciamo FALCON (From Spatial to Action), un paradigma innovativo che inietta token spaziali 3D ricchi nell'azione. FALCON sfrutta modelli fondazionali spaziali per fornire forti prior geometriche partendo dal solo RGB e include un Modello Spaziale Embodied che può opzionalmente fondere dati di profondità o di posa per una fedeltà superiore quando disponibili, senza necessità di riaddestramento o modifiche architetturali. Per preservare il ragionamento linguistico, i token spaziali vengono elaborati da una Testa d'Azione Potenziata Spazialmente anziché essere concatenati nel backbone visione-linguaggio. Questi progetti consentono a FALCON di affrontare le limitazioni nella rappresentazione spaziale, nella trasferibilità delle modalità e nell'allineamento. In valutazioni complete su tre benchmark di simulazione e undici compiti del mondo reale, il nostro FALCON proposto raggiunge prestazioni allo stato dell'arte, supera costantemente baseline competitive e rimane robusto in condizioni di disordine, condizionamento spaziale e variazioni di scala e altezza degli oggetti.

English

Existing vision-language-action (VLA) models act in 3D real-world but are typically built on 2D encoders, leaving a spatial reasoning gap that limits generalization and adaptability. Recent 3D integration techniques for VLAs either require specialized sensors and transfer poorly across modalities, or inject weak cues that lack geometry and degrade vision-language alignment. In this work, we introduce FALCON (From Spatial to Action), a novel paradigm that injects rich 3D spatial tokens into the action head. FALCON leverages spatial foundation models to deliver strong geometric priors from RGB alone, and includes an Embodied Spatial Model that can optionally fuse depth, or pose for higher fidelity when available, without retraining or architectural changes. To preserve language reasoning, spatial tokens are consumed by a Spatial-Enhanced Action Head rather than being concatenated into the vision-language backbone. These designs enable FALCON to address limitations in spatial representation, modality transferability, and alignment. In comprehensive evaluations across three simulation benchmarks and eleven real-world tasks, our proposed FALCON achieves state-of-the-art performance, consistently surpasses competitive baselines, and remains robust under clutter, spatial-prompt conditioning, and variations in object scale and height.