VLA-4D: Integrare la Consapevolezza 4D nei Modelli Visione-Linguaggio-Azione per una Manipolazione Robotica SpazioTemporalmente Coerente

VLA-4D: Embedding 4D Awareness into Vision-Language-Action Models for SpatioTemporally Coherent Robotic Manipulation

November 21, 2025

Autori: Hanyu Zhou, Chuanhao Ma, Gim Hee Lee

cs.AI

Abstract

I modelli visione-linguaggio-azione (VLA) mostrano potenziale per compiti robotici generali, ma rimangono problematici nella manipolazione spaziotemporalmente coerente, che richiede rappresentazioni a grana fine. Tipicamente, i metodi esistenti incorporano posizioni 3D nelle rappresentazioni visive per migliorare la precisione spaziale delle azioni. Tuttavia, questi metodi faticano a ottenere un controllo temporalmente coerente sull'esecuzione delle azioni. In questo lavoro, proponiamo VLA-4D, un modello VLA generale con consapevolezza 4D per la manipolazione robotica spaziotemporalmente coerente. Il nostro modello è guidato da due progetti chiave: 1) Rappresentazione visiva 4D-consapevole. Estraiamo caratteristiche visive, incorporiamo il tempo 1D nelle posizioni 3D per ottenere embedding 4D, e li fondiamo in una rappresentazione visiva unificata tramite un meccanismo di cross-attention. 2) Rappresentazione azionale spaziotemporale. Estendiamo le convenzionali rappresentazioni azionali spaziali con informazioni temporali per abilitare la pianificazione spaziotemporale, e allineiamo le rappresentazioni multimodali nell'LLM per la predizione azionale spaziotemporale. All'interno di questo framework unificato, le rappresentazioni visive e azionali progettate congiuntamente rendono la manipolazione robotica spazialmente fluida e temporalmente coerente. Inoltre, estendiamo il dataset VLA con annotazioni azionali temporali per il fine-tuning del nostro modello. Esperimenti estensivi sono stati condotti per verificare la superiorità del nostro metodo in diversi compiti di manipolazione robotica.

English

Vision-language-action (VLA) models show potential for general robotic tasks, but remain challenging in spatiotemporally coherent manipulation, which requires fine-grained representations. Typically, existing methods embed 3D positions into visual representations to enhance the spatial precision of actions. However, these methods struggle to achieve temporally coherent control over action execution. In this work, we propose VLA-4D, a general VLA model with 4D awareness for spatiotemporally coherent robotic manipulation. Our model is guided by two key designs: 1) 4D-aware visual representation. We extract visual features, embed 1D time into 3D positions for 4D embeddings, and fuse them into a unified visual representation via a cross-attention mechanism. 2) Spatiotemporal action representation. We extend conventional spatial action representations with temporal information to enable the spatiotemporal planning, and align the multimodal representations into the LLM for spatiotemporal action prediction. Within this unified framework, the designed visual and action representations jointly make robotic manipulation spatially-smooth and temporally-coherent. In addition, we extend the VLA dataset with temporal action annotations for fine-tuning our model. Extensive experiments have been conducted to verify the superiority of our method across different tasks of robotic manipulation.