VLA-4D: Integration von 4D-Bewusstsein in Vision-Language-Action-Modelle für räumlich-zeitlich kohärente robotische Manipulation

VLA-4D: Embedding 4D Awareness into Vision-Language-Action Models for SpatioTemporally Coherent Robotic Manipulation

November 21, 2025

papers.authors: Hanyu Zhou, Chuanhao Ma, Gim Hee Lee

cs.AI

papers.abstract

Vision-Language-Action (VLA)-Modelle zeigen Potenzial für allgemeine robotische Aufgaben, bleiben jedoch bei räumlich-zeitlich kohärenter Manipulation eine Herausforderung, die feinkörnige Repräsentationen erfordert. Typischerweise integrieren bestehende Methoden 3D-Positionen in visuelle Repräsentationen, um die räumliche Präzision von Aktionen zu verbessern. Diese Methoden haben jedoch Schwierigkeiten, eine zeitlich kohärente Steuerung der Aktionsausführung zu erreichen. In dieser Arbeit schlagen wir VLA-4D vor, ein allgemeines VLA-Modell mit 4D-Bewusstsein für räumlich-zeitlich kohärente robotische Manipulation. Unser Modell wird von zwei zentralen Designs geleitet: 1) 4D-bewusste visuelle Repräsentation. Wir extrahieren visuelle Merkmale, betten 1D-Zeit in 3D-Positionen für 4D-Einbettungen ein und fusionieren sie über einen Cross-Attention-Mechanismus zu einer einheitlichen visuellen Repräsentation. 2) Räumlich-zeitliche Aktionsrepräsentation. Wir erweitern konventionelle räumliche Aktionsrepräsentationen um Zeitinformationen, um die räumlich-zeitliche Planung zu ermöglichen, und richten die multimodalen Repräsentationen im LLM für die räumlich-zeitliche Aktionsvorhersage aus. Innerhalb dieses einheitlichen Rahmens sorgen die gestalteten visuellen und Aktionsrepräsentationen gemeinsam für eine räumlich geschmeidige und zeitlich kohärente robotische Manipulation. Zusätzlich erweitern wir den VLA-Datensatz um zeitliche Aktionsannotationen zum Feinabstimmen unseres Modells. Umfangreiche Experimente wurden durchgeführt, um die Überlegenheit unserer Methode über verschiedene Aufgaben der robotischen Manipulation hinweg zu verifizieren.

English

Vision-language-action (VLA) models show potential for general robotic tasks, but remain challenging in spatiotemporally coherent manipulation, which requires fine-grained representations. Typically, existing methods embed 3D positions into visual representations to enhance the spatial precision of actions. However, these methods struggle to achieve temporally coherent control over action execution. In this work, we propose VLA-4D, a general VLA model with 4D awareness for spatiotemporally coherent robotic manipulation. Our model is guided by two key designs: 1) 4D-aware visual representation. We extract visual features, embed 1D time into 3D positions for 4D embeddings, and fuse them into a unified visual representation via a cross-attention mechanism. 2) Spatiotemporal action representation. We extend conventional spatial action representations with temporal information to enable the spatiotemporal planning, and align the multimodal representations into the LLM for spatiotemporal action prediction. Within this unified framework, the designed visual and action representations jointly make robotic manipulation spatially-smooth and temporally-coherent. In addition, we extend the VLA dataset with temporal action annotations for fine-tuning our model. Extensive experiments have been conducted to verify the superiority of our method across different tasks of robotic manipulation.