Do Espacial para as Ações: Fundamentando o Modelo Visão-Linguagem-Ação em Prioridades Fundamentais Espaciais

From Spatial to Actions: Grounding Vision-Language-Action Model in Spatial Foundation Priors

October 20, 2025

Autores: Zhengshen Zhang, Hao Li, Yalun Dai, Zhengbang Zhu, Lei Zhou, Chenchen Liu, Dong Wang, Francis E. H. Tay, Sijin Chen, Ziwei Liu, Yuxiao Liu, Xinghang Li, Pan Zhou

cs.AI

Resumo

Os modelos visão-linguagem-ação (VLA) existentes atuam no mundo real 3D, mas são tipicamente construídos sobre codificadores 2D, deixando uma lacuna de raciocínio espacial que limita a generalização e adaptabilidade. As técnicas recentes de integração 3D para VLAs ou exigem sensores especializados e transferem mal entre modalidades, ou injetam pistas fracas que carecem de geometria e degradam o alinhamento visão-linguagem. Neste trabalho, introduzimos o FALCON (Do Espacial para a Ação), um novo paradigma que injeta tokens espaciais 3D ricos no cabeçalho de ação. O FALCON aproveita modelos de fundação espacial para fornecer fortes prévias geométricas apenas a partir de RGB, e inclui um Modelo Espacial Corporificado que pode opcionalmente fusionar profundidade ou pose para maior fidelidade quando disponíveis, sem retreino ou alterações arquiteturais. Para preservar o raciocínio linguístico, os tokens espaciais são consumidos por um Cabeçalho de Ação Aprimorado Espacialmente em vez de serem concatenados no backbone visão-linguagem. Esses projetos permitem que o FALCON aborde limitações na representação espacial, transferibilidade de modalidade e alinhamento. Em avaliações abrangentes em três benchmarks de simulação e onze tarefas do mundo real, nosso FALCON proposto alcança desempenho de ponta, supera consistentemente baselines competitivas e mantém-se robusto sob desordem, condicionamento por prompt espacial e variações na escala e altura dos objetos.

English

Existing vision-language-action (VLA) models act in 3D real-world but are typically built on 2D encoders, leaving a spatial reasoning gap that limits generalization and adaptability. Recent 3D integration techniques for VLAs either require specialized sensors and transfer poorly across modalities, or inject weak cues that lack geometry and degrade vision-language alignment. In this work, we introduce FALCON (From Spatial to Action), a novel paradigm that injects rich 3D spatial tokens into the action head. FALCON leverages spatial foundation models to deliver strong geometric priors from RGB alone, and includes an Embodied Spatial Model that can optionally fuse depth, or pose for higher fidelity when available, without retraining or architectural changes. To preserve language reasoning, spatial tokens are consumed by a Spatial-Enhanced Action Head rather than being concatenated into the vision-language backbone. These designs enable FALCON to address limitations in spatial representation, modality transferability, and alignment. In comprehensive evaluations across three simulation benchmarks and eleven real-world tasks, our proposed FALCON achieves state-of-the-art performance, consistently surpasses competitive baselines, and remains robust under clutter, spatial-prompt conditioning, and variations in object scale and height.