VLA-4D: Integrando Consciência 4D em Modelos Visão-Linguagem-Ação para Manipulação Robótica Espaço-Temporalmente Coerente

VLA-4D: Embedding 4D Awareness into Vision-Language-Action Models for SpatioTemporally Coherent Robotic Manipulation

November 21, 2025

Autores: Hanyu Zhou, Chuanhao Ma, Gim Hee Lee

cs.AI

Resumo

Os modelos visão-linguagem-ação (VLA) demonstram potencial para tarefas robóticas gerais, mas permanecem desafiadores na manipulação espaço-temporalmente coerente, que requer representações de granularidade fina. Tipicamente, os métodos existentes incorporam posições 3D em representações visuais para aumentar a precisão espacial das ações. No entanto, esses métodos lutam para alcançar um controle temporalmente coerente sobre a execução da ação. Neste trabalho, propomos o VLA-4D, um modelo VLA geral com consciência 4D para manipulação robótica espaço-temporalmente coerente. Nosso modelo é guiado por dois projetos-chave: 1) Representação visual com consciência 4D. Extraímos características visuais, incorporamos o tempo 1D em posições 3D para embeddings 4D e os fundimos em uma representação visual unificada por meio de um mecanismo de atenção cruzada. 2) Representação de ação espaço-temporal. Estendemos as representações de ação espaciais convencionais com informação temporal para permitir o planeamento espaço-temporal e alinhamos as representações multimodais no LLM para previsão de ação espaço-temporal. Dentro desta estrutura unificada, as representações visuais e de ação projetadas tornam conjuntamente a manipulação robótica espacialmente suave e temporalmente coerente. Além disso, estendemos o conjunto de dados VLA com anotações de ação temporal para afinar o nosso modelo. Foram realizadas experiências extensivas para verificar a superioridade do nosso método em diferentes tarefas de manipulação robótica.

English

Vision-language-action (VLA) models show potential for general robotic tasks, but remain challenging in spatiotemporally coherent manipulation, which requires fine-grained representations. Typically, existing methods embed 3D positions into visual representations to enhance the spatial precision of actions. However, these methods struggle to achieve temporally coherent control over action execution. In this work, we propose VLA-4D, a general VLA model with 4D awareness for spatiotemporally coherent robotic manipulation. Our model is guided by two key designs: 1) 4D-aware visual representation. We extract visual features, embed 1D time into 3D positions for 4D embeddings, and fuse them into a unified visual representation via a cross-attention mechanism. 2) Spatiotemporal action representation. We extend conventional spatial action representations with temporal information to enable the spatiotemporal planning, and align the multimodal representations into the LLM for spatiotemporal action prediction. Within this unified framework, the designed visual and action representations jointly make robotic manipulation spatially-smooth and temporally-coherent. In addition, we extend the VLA dataset with temporal action annotations for fine-tuning our model. Extensive experiments have been conducted to verify the superiority of our method across different tasks of robotic manipulation.