Forçamento Espacial: Alinhamento Implícito de Representação Espacial para Modelos Visão-Linguagem-Ação

Spatial Forcing: Implicit Spatial Representation Alignment for Vision-language-action Model

October 14, 2025

Autores: Fuhao Li, Wenxuan Song, Han Zhao, Jingbo Wang, Pengxiang Ding, Donglin Wang, Long Zeng, Haoang Li

cs.AI

Resumo

Modelos visão-linguagem-ação (VLA) têm demonstrado recentemente um forte potencial em capacitar robôs a seguir instruções linguísticas e executar ações precisas. No entanto, a maioria dos VLAs é construída sobre modelos visão-linguagem pré-treinados exclusivamente em dados 2D, que carecem de consciência espacial precisa e prejudicam sua capacidade de operar no mundo físico 3D. Soluções existentes tentam incorporar entradas explícitas de sensores 3D, como mapas de profundidade ou nuvens de pontos, mas essas abordagens enfrentam desafios devido ao ruído dos sensores, heterogeneidade de hardware e cobertura incompleta de profundidade nos conjuntos de dados existentes. Métodos alternativos que estimam pistas 3D a partir de imagens 2D também sofrem com o desempenho limitado dos estimadores de profundidade. Propomos o Spatial Forcing (SF), uma estratégia de alinhamento simples, porém eficaz, que implicitamente força os modelos VLA a desenvolver capacidades de compreensão espacial sem depender de entradas 3D explícitas ou estimadores de profundidade. O SF alinha embeddings visuais intermediários dos VLAs com representações geométricas produzidas por modelos de fundação 3D pré-treinados. Ao impor o alinhamento em camadas intermediárias, o SF orienta os VLAs a codificar representações espaciais mais ricas que melhoram a precisão das ações. Experimentos extensivos em ambientes de simulação e do mundo real demonstram que o SF alcança resultados de ponta, superando tanto VLAs baseados em 2D quanto em 3D. O SF ainda acelera o treinamento em até 3,8 vezes e melhora a eficiência de dados em diversas tarefas robóticas. A página do projeto está em https://spatial-forcing.github.io/.

English

Vision-language-action (VLA) models have recently shown strong potential in enabling robots to follow language instructions and execute precise actions. However, most VLAs are built upon vision-language models pretrained solely on 2D data, which lack accurate spatial awareness and hinder their ability to operate in the 3D physical world. Existing solutions attempt to incorporate explicit 3D sensor inputs such as depth maps or point clouds, but these approaches face challenges due to sensor noise, hardware heterogeneity, and incomplete depth coverage in existing datasets. Alternative methods that estimate 3D cues from 2D images also suffer from the limited performance of depth estimators.We propose Spatial Forcing (SF), a simple yet effective alignment strategy that implicitly forces VLA models to develop spatial comprehension capabilities without relying on explicit 3D inputs or depth estimators. SF aligns intermediate visual embeddings of VLAs with geometric representations produced by pretrained 3D foundation models. By enforcing alignment at intermediate layers, SF guides VLAs to encode richer spatial representations that enhance action precision.Extensive experiments in simulation and real-world environments demonstrate that SF achieves state-of-the-art results, surpassing both 2D- and 3D-based VLAs. SF further accelerates training by up to 3.8x and improves data efficiency across diverse robotic tasks. Project page is at https://spatial-forcing.github.io/