Пространственное форсирование: неявное выравнивание пространственных представлений для моделей "зрение-язык-действие"

Spatial Forcing: Implicit Spatial Representation Alignment for Vision-language-action Model

October 14, 2025

Авторы: Fuhao Li, Wenxuan Song, Han Zhao, Jingbo Wang, Pengxiang Ding, Donglin Wang, Long Zeng, Haoang Li

cs.AI

Аннотация

Модели, объединяющие зрение, язык и действия (Vision-Language-Action, VLA), недавно продемонстрировали значительный потенциал в обучении роботов следовать языковым инструкциям и выполнять точные действия. Однако большинство VLA построены на основе моделей, предварительно обученных исключительно на 2D-данных, что ограничивает их пространственное восприятие и затрудняет работу в трехмерном физическом мире. Существующие решения пытаются интегрировать явные 3D-данные, такие как карты глубины или облака точек, но эти подходы сталкиваются с проблемами из-за шума сенсоров, неоднородности оборудования и неполного покрытия глубины в доступных наборах данных. Альтернативные методы, оценивающие 3D-характеристики из 2D-изображений, также страдают от ограниченной точности оценок глубины. Мы предлагаем Spatial Forcing (SF) — простую, но эффективную стратегию выравнивания, которая неявно заставляет VLA-модели развивать способности к пространственному восприятию без использования явных 3D-данных или оценок глубины. SF выравнивает промежуточные визуальные представления VLA с геометрическими представлениями, создаваемыми предварительно обученными 3D-фундаментальными моделями. Принуждая к выравниванию на промежуточных слоях, SF направляет VLA на кодирование более богатых пространственных представлений, что повышает точность действий. Многочисленные эксперименты в симуляциях и реальных условиях показывают, что SF достигает наилучших результатов, превосходя как 2D-, так и 3D-ориентированные VLA. Кроме того, SF ускоряет обучение до 3,8 раз и повышает эффективность использования данных в различных роботизированных задачах. Страница проекта доступна по адресу: https://spatial-forcing.github.io/

English

Vision-language-action (VLA) models have recently shown strong potential in enabling robots to follow language instructions and execute precise actions. However, most VLAs are built upon vision-language models pretrained solely on 2D data, which lack accurate spatial awareness and hinder their ability to operate in the 3D physical world. Existing solutions attempt to incorporate explicit 3D sensor inputs such as depth maps or point clouds, but these approaches face challenges due to sensor noise, hardware heterogeneity, and incomplete depth coverage in existing datasets. Alternative methods that estimate 3D cues from 2D images also suffer from the limited performance of depth estimators.We propose Spatial Forcing (SF), a simple yet effective alignment strategy that implicitly forces VLA models to develop spatial comprehension capabilities without relying on explicit 3D inputs or depth estimators. SF aligns intermediate visual embeddings of VLAs with geometric representations produced by pretrained 3D foundation models. By enforcing alignment at intermediate layers, SF guides VLAs to encode richer spatial representations that enhance action precision.Extensive experiments in simulation and real-world environments demonstrate that SF achieves state-of-the-art results, surpassing both 2D- and 3D-based VLAs. SF further accelerates training by up to 3.8x and improves data efficiency across diverse robotic tasks. Project page is at https://spatial-forcing.github.io/