Unified Diffusion VLA : Modèle Vision-Langue-Action via un Processus de Dénoyautage Discret Conjoint

papers.abstract

Les modèles vision-langage-action (VLA) visent à comprendre les instructions en langage naturel et les observations visuelles pour exécuter les actions correspondantes en tant qu'agent incarné. Les travaux récents intègrent des images futures dans la boucle de compréhension-action, produisant des VLA unifiés qui comprennent, génèrent et agissent conjointement - lisant le texte et les images tout en produisant des images futures et des actions. Cependant, ces modèles s'appuient soit sur des experts externes pour l'unification des modalités, soit traitent la génération d'images et la prédiction d'actions comme des processus séparés, limitant ainsi les bénéfices d'une synergie directe entre ces tâches. Notre philosophie fondamentale est d'optimiser conjointement la génération et l'action grâce à un processus de débruîtage synchrone, où l'affinement itératif permet aux actions d'évoluer depuis leur initialisation, sous guidance visuelle constante et suffisante. Nous ancrons cette philosophie dans notre modèle VLA par Diffusion Unifiée et le Processus de Diffusion par Débruîtage Discret Joint (JD3P), qui est un processus de diffusion intégrant multiples modalités dans une trajectoire de débruîtage unique servant de mécanisme clé pour rendre la compréhension, la génération et l'action intrinsèquement synergiques. Notre modèle et notre théorie sont construits sur un espace tokenisé unifié de toutes les modalités et un mécanisme d'attention hybride. Nous proposons en outre une pipeline d'entraînement en deux étapes et plusieurs techniques inférentielles qui optimisent performance et efficacité. Notre approche atteint des performances state-of-the-art sur des benchmarks tels que CALVIN, LIBERO et SimplerEnv avec une inférence 4 fois plus rapide que les méthodes autorégressives, et nous démontrons son efficacité par des analyses approfondies et des évaluations en conditions réelles. Notre page projet est disponible à l'adresse https://irpn-eai.github.io/UD-VLA.github.io/.

English

Vision-language-action (VLA) models aim to understand natural language instructions and visual observations and to execute corresponding actions as an embodied agent. Recent work integrates future images into the understanding-acting loop, yielding unified VLAs that jointly understand, generate, and act -- reading text and images and producing future images and actions. However, these models either rely on external experts for modality unification or treat image generation and action prediction as separate processes, limiting the benefits of direct synergy between these tasks. Our core philosophy is to optimize generation and action jointly through a synchronous denoising process, where the iterative refinement enables actions to evolve from initialization, under constant and sufficient visual guidance. We ground this philosophy in our proposed Unified Diffusion VLA and Joint Discrete Denoising Diffusion Process (JD3P), which is a joint diffusion process that integrates multiple modalities into a single denoising trajectory to serve as the key mechanism enabling understanding, generation, and acting to be intrinsically synergistic. Our model and theory are built on a unified tokenized space of all modalities and a hybrid attention mechanism. We further propose a two-stage training pipeline and several inference-time techniques that optimize performance and efficiency. Our approach achieves state-of-the-art performance on benchmarks such as CALVIN, LIBERO, and SimplerEnv with 4times faster inference than autoregressive methods, and we demonstrate its effectiveness through in-depth analysis and real-world evaluations. Our project page is available at https://irpn-eai.github.io/UD-VLA.github.io/.

Unified Diffusion VLA : Modèle Vision-Langue-Action via un Processus de Dénoyautage Discret Conjoint

Unified Diffusion VLA: Vision-Language-Action Model via Joint Discrete Denoising Diffusion Process

papers.abstract

Support