Unified Diffusion VLA: Modello Visione-Linguaggio-Azione tramite Processo Congiunto di Denoising Diffusivo Discreto

Unified Diffusion VLA: Vision-Language-Action Model via Joint Discrete Denoising Diffusion Process

November 3, 2025

Autori: Jiayi Chen, Wenxuan Song, Pengxiang Ding, Ziyang Zhou, Han Zhao, Feilong Tang, Donglin Wang, Haoang Li

cs.AI

Abstract

I modelli visione-linguaggio-azione (VLA) mirano a comprendere istruzioni in linguaggio naturale e osservazioni visive per eseguire le corrispondenti azioni come agenti incarnati. Recenti lavori integrano immagini future nel ciclo di comprensione-azione, producendo VLA unificati che comprendono, generano e agiscono congiuntamente - leggendo testo e immagini e producendo immagini future e azioni. Tuttavia, questi modelli si affidano a esperti esterni per l'unificazione delle modalità o trattano la generazione di immagini e la previsione delle azioni come processi separati, limitando i benefici della sinergia diretta tra questi compiti. La nostra filosofia centrale è ottimizzare generazione e azione congiuntamente attraverso un processo di denoising sincrono, dove l'affinamento iterativo permette alle azioni di evolvere dall'inizializzazione, sotto una guida visiva costante e sufficiente. Incarniamo questa filosofia nella nostra proposta di VLA a Diffusione Unificata e Processo di Diffusione di Denoising Discreto Congiunto (JD3P), che è un processo di diffusione congiunto che integra multiple modalità in un'unica traiettoria di denoising per servire come meccanismo chiave che permette a comprensione, generazione e azione di essere intrinsecamente sinergici. Il nostro modello e la teoria sono costruiti su uno spazio tokenizzato unificato di tutte le modalità e un meccanismo di attenzione ibrido. Proponiamo inoltre una pipeline di addestramento in due stadi e diverse tecniche per il tempo di inferenza che ottimizzano prestazioni ed efficienza. Il nostro approccio raggiunge prestazioni allo stato dell'arte su benchmark come CALVIN, LIBERO e SimplerEnv con un'inferenza 4 volte più veloce dei metodi autoregressivi, e ne dimostriamo l'efficienza attraverso analisi approfondite e valutazioni nel mondo reale. La nostra pagina del progetto è disponibile all'indirizzo https://irpn-eai.github.io/UD-VLA.github.io/.

English

Vision-language-action (VLA) models aim to understand natural language instructions and visual observations and to execute corresponding actions as an embodied agent. Recent work integrates future images into the understanding-acting loop, yielding unified VLAs that jointly understand, generate, and act -- reading text and images and producing future images and actions. However, these models either rely on external experts for modality unification or treat image generation and action prediction as separate processes, limiting the benefits of direct synergy between these tasks. Our core philosophy is to optimize generation and action jointly through a synchronous denoising process, where the iterative refinement enables actions to evolve from initialization, under constant and sufficient visual guidance. We ground this philosophy in our proposed Unified Diffusion VLA and Joint Discrete Denoising Diffusion Process (JD3P), which is a joint diffusion process that integrates multiple modalities into a single denoising trajectory to serve as the key mechanism enabling understanding, generation, and acting to be intrinsically synergistic. Our model and theory are built on a unified tokenized space of all modalities and a hybrid attention mechanism. We further propose a two-stage training pipeline and several inference-time techniques that optimize performance and efficiency. Our approach achieves state-of-the-art performance on benchmarks such as CALVIN, LIBERO, and SimplerEnv with 4times faster inference than autoregressive methods, and we demonstrate its effectiveness through in-depth analysis and real-world evaluations. Our project page is available at https://irpn-eai.github.io/UD-VLA.github.io/.