VLA-4D: Integratie van 4D-bewustzijn in Vision-Language-Action-modellen voor ruimtelijk-tijdelijk coherente robotmanipulatie

VLA-4D: Embedding 4D Awareness into Vision-Language-Action Models for SpatioTemporally Coherent Robotic Manipulation

November 21, 2025

Auteurs: Hanyu Zhou, Chuanhao Ma, Gim Hee Lee

cs.AI

Samenvatting

Vision-language-action (VLA)-modellen tonen potentie voor algemene robottaken, maar blijven uitdagend bij ruimtelijk-tijdelijk coherente manipulatie, wat fijnmazige representaties vereist. Normaal gesproken embedden bestaande methoden 3D-posities in visuele representaties om de ruimtelijke precisie van acties te verbeteren. Deze methoden hebben echter moeite om tijdelijk coherente controle over actie-uitvoering te bereiken. In dit werk stellen we VLA-4D voor, een algemeen VLA-model met 4D-bewustzijn voor ruimtelijk-tijdelijk coherente robotmanipulatie. Ons model wordt geleid door twee belangrijke ontwerpen: 1) 4D-bewuste visuele representatie. We extraheren visuele kenmerken, embedden 1D-tijd in 3D-posities voor 4D-embeddings, en fuseren deze via een cross-attention-mechanisme tot een uniforme visuele representatie. 2) Ruimtelijk-tijdelijke actierepresentatie. We breiden conventionele ruimtelijke actierepresentaties uit met temporele informatie om ruimtelijk-tijdelijke planning mogelijk te maken, en aligneren de multimodale representaties in het LLM voor ruimtelijk-tijdelijke actievoorspelling. Binnen dit uniforme kader zorgen de ontworpen visuele en actierepresentaties gezamenlijk voor ruimtelijk soepele en tijdelijk coherente robotmanipulatie. Daarnaast breiden we de VLA-dataset uit met temporele actieannotaties voor het fine-tunen van ons model. Uitgebreide experimenten zijn uitgevoerd om de superioriteit van onze methode voor verschillende taken in robotmanipulatie te verifiëren.

English

Vision-language-action (VLA) models show potential for general robotic tasks, but remain challenging in spatiotemporally coherent manipulation, which requires fine-grained representations. Typically, existing methods embed 3D positions into visual representations to enhance the spatial precision of actions. However, these methods struggle to achieve temporally coherent control over action execution. In this work, we propose VLA-4D, a general VLA model with 4D awareness for spatiotemporally coherent robotic manipulation. Our model is guided by two key designs: 1) 4D-aware visual representation. We extract visual features, embed 1D time into 3D positions for 4D embeddings, and fuse them into a unified visual representation via a cross-attention mechanism. 2) Spatiotemporal action representation. We extend conventional spatial action representations with temporal information to enable the spatiotemporal planning, and align the multimodal representations into the LLM for spatiotemporal action prediction. Within this unified framework, the designed visual and action representations jointly make robotic manipulation spatially-smooth and temporally-coherent. In addition, we extend the VLA dataset with temporal action annotations for fine-tuning our model. Extensive experiments have been conducted to verify the superiority of our method across different tasks of robotic manipulation.