Unified Diffusion VLA: Ein Vision-Sprache-Handlung-Modell durch gemeinsamen diskreten Denoising-Diffusionsprozess

Unified Diffusion VLA: Vision-Language-Action Model via Joint Discrete Denoising Diffusion Process

November 3, 2025

papers.authors: Jiayi Chen, Wenxuan Song, Pengxiang Ding, Ziyang Zhou, Han Zhao, Feilong Tang, Donglin Wang, Haoang Li

cs.AI

papers.abstract

Vision-Language-Action (VLA)-Modelle zielen darauf ab, natürliche Sprachinstruktionen und visuelle Beobachtungen zu verstehen und als verkörperter Agent entsprechende Aktionen auszuführen. Jüngste Arbeiten integrieren Zukunftsbilder in den Verstehens-Handlungs-Kreislauf, was zu vereinheitlichten VLA-Modellen führt, die gemeinsam verstehen, generieren und handeln – sie lesen Text und Bilder und erzeugen Zukunftsbilder sowie Aktionen. Allerdings stützen sich diese Modelle entweder auf externe Experten für die Modalitätsvereinheitlichung oder behandeln Bildgenerierung und Aktionsvorhersage als separate Prozesse, was den Nutzen einer direkten Synergie zwischen diesen Aufgaben einschränkt. Unsere Kernphilosophie ist es, Generierung und Aktion gemeinsam durch einen synchronen Denoisierungsprozess zu optimieren, bei dem die iterative Verfeinerung es Aktionen ermöglicht, sich aus einer Initialisierung unter konstanter und ausreichender visueller Führung heraus zu entwickeln. Wir untermauern diese Philosophie mit unserem vorgeschlagenen Unified Diffusion VLA und dem Joint Discrete Denoising Diffusion Process (JD3P), einem gemeinsamen Diffusionsprozess, der mehrere Modalitäten in eine einzige Denoisierungstrajektorie integriert. Dieser dient als Schlüsselmechanismus, der Verstehen, Generieren und Handeln intrinsisch synergistisch macht. Unser Modell und unsere Theorie basieren auf einem vereinheitlichten tokenisierten Raum aller Modalitäten und einem hybriden Aufmerksamkeitsmechanismus. Wir schlagen weiterhin eine zweistufige Trainingspipeline und mehrere Inferenztechniken vor, die Leistung und Effizienz optimieren. Unser Ansatz erreicht state-of-the-art Leistung auf Benchmarks wie CALVIN, LIBERO und SimplerEnv bei einer 4-mal schnelleren Inferenz als autoregressive Methoden. Wir demonstrieren seine Wirksamkeit durch eingehende Analysen und Evaluationen in realen Szenarien. Unsere Projektseite ist verfügbar unter https://irpn-eai.github.io/UD-VLA.github.io/.

English

Vision-language-action (VLA) models aim to understand natural language instructions and visual observations and to execute corresponding actions as an embodied agent. Recent work integrates future images into the understanding-acting loop, yielding unified VLAs that jointly understand, generate, and act -- reading text and images and producing future images and actions. However, these models either rely on external experts for modality unification or treat image generation and action prediction as separate processes, limiting the benefits of direct synergy between these tasks. Our core philosophy is to optimize generation and action jointly through a synchronous denoising process, where the iterative refinement enables actions to evolve from initialization, under constant and sufficient visual guidance. We ground this philosophy in our proposed Unified Diffusion VLA and Joint Discrete Denoising Diffusion Process (JD3P), which is a joint diffusion process that integrates multiple modalities into a single denoising trajectory to serve as the key mechanism enabling understanding, generation, and acting to be intrinsically synergistic. Our model and theory are built on a unified tokenized space of all modalities and a hybrid attention mechanism. We further propose a two-stage training pipeline and several inference-time techniques that optimize performance and efficiency. Our approach achieves state-of-the-art performance on benchmarks such as CALVIN, LIBERO, and SimplerEnv with 4times faster inference than autoregressive methods, and we demonstrate its effectiveness through in-depth analysis and real-world evaluations. Our project page is available at https://irpn-eai.github.io/UD-VLA.github.io/.