Forzamiento Espacial: Alineación Implícita de Representaciones Espaciales para Modelos de Visión-Lenguaje-Acción

Spatial Forcing: Implicit Spatial Representation Alignment for Vision-language-action Model

October 14, 2025

Autores: Fuhao Li, Wenxuan Song, Han Zhao, Jingbo Wang, Pengxiang Ding, Donglin Wang, Long Zeng, Haoang Li

cs.AI

Resumen

Los modelos visión-lenguaje-acción (VLA, por sus siglas en inglés) han demostrado recientemente un gran potencial para permitir que los robots sigan instrucciones en lenguaje natural y ejecuten acciones precisas. Sin embargo, la mayoría de los VLA se basan en modelos visión-lenguaje preentrenados únicamente con datos 2D, lo que limita su conciencia espacial precisa y dificulta su capacidad para operar en el mundo físico tridimensional. Las soluciones existentes intentan incorporar entradas explícitas de sensores 3D, como mapas de profundidad o nubes de puntos, pero estos enfoques enfrentan desafíos debido al ruido de los sensores, la heterogeneidad del hardware y la cobertura incompleta de profundidad en los conjuntos de datos disponibles. Métodos alternativos que estiman señales 3D a partir de imágenes 2D también se ven afectados por el rendimiento limitado de los estimadores de profundidad. Proponemos Spatial Forcing (SF), una estrategia de alineación simple pero efectiva que fuerza implícitamente a los modelos VLA a desarrollar capacidades de comprensión espacial sin depender de entradas 3D explícitas o estimadores de profundidad. SF alinea los embeddings visuales intermedios de los VLA con representaciones geométricas generadas por modelos fundacionales 3D preentrenados. Al imponer esta alineación en capas intermedias, SF guía a los VLA para codificar representaciones espaciales más ricas que mejoran la precisión de las acciones. Experimentos exhaustivos en entornos de simulación y del mundo real demuestran que SF logra resultados de vanguardia, superando tanto a los VLA basados en 2D como en 3D. Además, SF acelera el entrenamiento hasta 3.8 veces y mejora la eficiencia de los datos en diversas tareas robóticas. La página del proyecto está disponible en https://spatial-forcing.github.io/.

English

Vision-language-action (VLA) models have recently shown strong potential in enabling robots to follow language instructions and execute precise actions. However, most VLAs are built upon vision-language models pretrained solely on 2D data, which lack accurate spatial awareness and hinder their ability to operate in the 3D physical world. Existing solutions attempt to incorporate explicit 3D sensor inputs such as depth maps or point clouds, but these approaches face challenges due to sensor noise, hardware heterogeneity, and incomplete depth coverage in existing datasets. Alternative methods that estimate 3D cues from 2D images also suffer from the limited performance of depth estimators.We propose Spatial Forcing (SF), a simple yet effective alignment strategy that implicitly forces VLA models to develop spatial comprehension capabilities without relying on explicit 3D inputs or depth estimators. SF aligns intermediate visual embeddings of VLAs with geometric representations produced by pretrained 3D foundation models. By enforcing alignment at intermediate layers, SF guides VLAs to encode richer spatial representations that enhance action precision.Extensive experiments in simulation and real-world environments demonstrate that SF achieves state-of-the-art results, surpassing both 2D- and 3D-based VLAs. SF further accelerates training by up to 3.8x and improves data efficiency across diverse robotic tasks. Project page is at https://spatial-forcing.github.io/