Унифицированная диффузионная VLA: Модель «Видение-Язык-Действие» через совместный дискретный процесс деноизинга диффузии

Unified Diffusion VLA: Vision-Language-Action Model via Joint Discrete Denoising Diffusion Process

November 3, 2025

Авторы: Jiayi Chen, Wenxuan Song, Pengxiang Ding, Ziyang Zhou, Han Zhao, Feilong Tang, Donglin Wang, Haoang Li

cs.AI

Аннотация

Модели «зрение-язык-действие» (VLA) предназначены для понимания инструкций на естественном языке и визуальных наблюдений с целью выполнения соответствующих действий воплощенным агентом. Современные разработки интегрируют прогнозируемые изображения в цикл «понимание-действие», создавая унифицированные VLA-модели, которые совместно понимают, генерируют и действуют — обрабатывая текст и изображения, а также создавая будущие изображения и действия. Однако эти модели либо полагаются на внешние экспертные системы для унификации модальностей, либо рассматривают генерацию изображений и прогнозирование действий как раздельные процессы, что ограничивает преимущества прямой синергии между этими задачами. Наша ключевая идея заключается в совместной оптимизации генерации и действий через синхронный процесс денизинга, где итеративное уточнение позволяет действиям эволюционировать от инициализации при постоянном и достаточном визуальном руководстве. Мы реализуем эту идею в предложенной унифицированной диффузионной модели VLA и совместном дискретном процессе диффузионного денизинга (JD3P) — процессе совместной диффузии, который интегрирует множество модальностей в единую траекторию денизинга, выступая ключевым механизмом, обеспечивающим внутреннюю синергию между пониманием, генерацией и действием. Наша модель и теория построены на унифицированном токенизированном пространстве всех модальностей и гибридном механизме внимания. Мы дополнительно предлагаем двухэтапный конвейер обучения и несколько методов вывода, оптимизирующих производительность и эффективность. Наш подход демонстрирует наилучшие результаты на бенчмарках CALVIN, LIBERO и SimplerEnv с 4-кратным ускорением вывода по сравнению с авторегрессивными методами, а его эффективность подтверждена глубоким анализом и реальными оценками. Страница проекта доступна по адресу https://irpn-eai.github.io/UD-VLA.github.io/.

English

Vision-language-action (VLA) models aim to understand natural language instructions and visual observations and to execute corresponding actions as an embodied agent. Recent work integrates future images into the understanding-acting loop, yielding unified VLAs that jointly understand, generate, and act -- reading text and images and producing future images and actions. However, these models either rely on external experts for modality unification or treat image generation and action prediction as separate processes, limiting the benefits of direct synergy between these tasks. Our core philosophy is to optimize generation and action jointly through a synchronous denoising process, where the iterative refinement enables actions to evolve from initialization, under constant and sufficient visual guidance. We ground this philosophy in our proposed Unified Diffusion VLA and Joint Discrete Denoising Diffusion Process (JD3P), which is a joint diffusion process that integrates multiple modalities into a single denoising trajectory to serve as the key mechanism enabling understanding, generation, and acting to be intrinsically synergistic. Our model and theory are built on a unified tokenized space of all modalities and a hybrid attention mechanism. We further propose a two-stage training pipeline and several inference-time techniques that optimize performance and efficiency. Our approach achieves state-of-the-art performance on benchmarks such as CALVIN, LIBERO, and SimplerEnv with 4times faster inference than autoregressive methods, and we demonstrate its effectiveness through in-depth analysis and real-world evaluations. Our project page is available at https://irpn-eai.github.io/UD-VLA.github.io/.