VLA-4D : Intégration de la conscience 4D dans les modèles Vision-Langage-Action pour une manipulation robotique spatio-temporellement cohérente
VLA-4D: Embedding 4D Awareness into Vision-Language-Action Models for SpatioTemporally Coherent Robotic Manipulation
November 21, 2025
papers.authors: Hanyu Zhou, Chuanhao Ma, Gim Hee Lee
cs.AI
papers.abstract
Les modèles vision-langage-action (VLA) montrent un potentiel pour les tâches robotiques générales, mais restent difficiles à maîtriser pour la manipulation spatio-temporellement cohérente, qui nécessite des représentations à granularité fine. Typiquement, les méthodes existantes intègrent des positions 3D dans les représentations visuelles pour améliorer la précision spatiale des actions. Cependant, ces méthodes peinent à obtenir un contrôle temporellement cohérent de l'exécution des actions. Dans ce travail, nous proposons VLA-4D, un modèle VLA général doté d'une conscience 4D pour la manipulation robotique spatio-temporellement cohérente. Notre modèle est guidé par deux conceptions clés : 1) Une représentation visuelle consciente de la 4D. Nous extrayons les caractéristiques visuelles, intégrons le temps 1D dans les positions 3D pour obtenir des plongements 4D, et les fusionnons en une représentation visuelle unifiée via un mécanisme d'attention croisée. 2) Une représentation d'action spatio-temporelle. Nous étendons les représentations d'action spatiales conventionnelles avec des informations temporelles pour permettre la planification spatio-temporelle, et alignons les représentations multimodales dans le LLM pour la prédiction d'actions spatio-temporelles. Au sein de ce cadre unifié, les représentations visuelles et d'action conçues permettent conjointement une manipulation robotique spatialement fluide et temporellement cohérente. De plus, nous étendons l'ensemble de données VLA avec des annotations d'action temporelles pour le réglage fin de notre modèle. Des expériences approfondies ont été menées pour vérifier la supériorité de notre méthode dans différentes tâches de manipulation robotique.
English
Vision-language-action (VLA) models show potential for general robotic tasks, but remain challenging in spatiotemporally coherent manipulation, which requires fine-grained representations. Typically, existing methods embed 3D positions into visual representations to enhance the spatial precision of actions. However, these methods struggle to achieve temporally coherent control over action execution. In this work, we propose VLA-4D, a general VLA model with 4D awareness for spatiotemporally coherent robotic manipulation. Our model is guided by two key designs: 1) 4D-aware visual representation. We extract visual features, embed 1D time into 3D positions for 4D embeddings, and fuse them into a unified visual representation via a cross-attention mechanism. 2) Spatiotemporal action representation. We extend conventional spatial action representations with temporal information to enable the spatiotemporal planning, and align the multimodal representations into the LLM for spatiotemporal action prediction. Within this unified framework, the designed visual and action representations jointly make robotic manipulation spatially-smooth and temporally-coherent. In addition, we extend the VLA dataset with temporal action annotations for fine-tuning our model. Extensive experiments have been conducted to verify the superiority of our method across different tasks of robotic manipulation.