Unified Diffusion VLA: Modelo Visão-Linguagem-Ação via Processo Conjunto de Difusão de Desruído Discreto

Unified Diffusion VLA: Vision-Language-Action Model via Joint Discrete Denoising Diffusion Process

November 3, 2025

Autores: Jiayi Chen, Wenxuan Song, Pengxiang Ding, Ziyang Zhou, Han Zhao, Feilong Tang, Donglin Wang, Haoang Li

cs.AI

Resumo

Os modelos visão-linguagem-ação (VLA) visam compreender instruções em linguagem natural e observações visuais para executar ações correspondentes como um agente incorporado. Trabalhos recentes integram imagens futuras no ciclo de compreensão-ação, resultando em VLAs unificados que compreendem, geram e agem conjuntamente — lendo texto e imagens e produzindo imagens e ações futuras. No entanto, estes modelos ou dependem de especialistas externos para unificação de modalidades ou tratam a geração de imagens e a previsão de ações como processos separados, limitando os benefícios da sinergia direta entre estas tarefas. Nossa filosofia central é otimizar a geração e a ação conjuntamente através de um processo de desserruição síncrono, onde o refinamento iterativo permite que as ações evoluam da inicialização, sob orientação visual constante e suficiente. Fundamentamos esta filosofia em nossa proposta de VLA de Difusão Unificada e Processo de Difusão de Desserruição Discreta Conjunta (JD3P), que é um processo de difusão conjunto que integra múltiplas modalidades em uma única trajetória de desserruição para servir como mecanismo-chave que permite que a compreensão, geração e ação sejam intrinsecamente sinérgicas. Nosso modelo e teoria são construídos sobre um espaço tokenizado unificado de todas as modalidades e um mecanismo de atenção híbrido. Propomos ainda um pipeline de treinamento em duas etapas e várias técnicas de inferência que otimizam desempenho e eficiência. Nossa abordagem alcança desempenho state-of-the-art em benchmarks como CALVIN, LIBERO e SimplerEnv com inferência 4 vezes mais rápida que métodos autoregressivos, e demonstramos sua eficácia através de análises aprofundadas e avaliações no mundo real. Nossa página do projeto está disponível em https://irpn-eai.github.io/UD-VLA.github.io/.

English

Vision-language-action (VLA) models aim to understand natural language instructions and visual observations and to execute corresponding actions as an embodied agent. Recent work integrates future images into the understanding-acting loop, yielding unified VLAs that jointly understand, generate, and act -- reading text and images and producing future images and actions. However, these models either rely on external experts for modality unification or treat image generation and action prediction as separate processes, limiting the benefits of direct synergy between these tasks. Our core philosophy is to optimize generation and action jointly through a synchronous denoising process, where the iterative refinement enables actions to evolve from initialization, under constant and sufficient visual guidance. We ground this philosophy in our proposed Unified Diffusion VLA and Joint Discrete Denoising Diffusion Process (JD3P), which is a joint diffusion process that integrates multiple modalities into a single denoising trajectory to serve as the key mechanism enabling understanding, generation, and acting to be intrinsically synergistic. Our model and theory are built on a unified tokenized space of all modalities and a hybrid attention mechanism. We further propose a two-stage training pipeline and several inference-time techniques that optimize performance and efficiency. Our approach achieves state-of-the-art performance on benchmarks such as CALVIN, LIBERO, and SimplerEnv with 4times faster inference than autoregressive methods, and we demonstrate its effectiveness through in-depth analysis and real-world evaluations. Our project page is available at https://irpn-eai.github.io/UD-VLA.github.io/.