MMaDA-VLA: Крупная диффузионная модель "Видение-Язык-Действие" с унифицированным многомодальным инструктированием и генерацией
MMaDA-VLA: Large Diffusion Vision-Language-Action Model with Unified Multi-Modal Instruction and Generation
March 26, 2026
Авторы: Yang Liu, Pengxiang Ding, Tengyue Jiang, Xudong Wang, Wenxuan Song, Minghui Lin, Han Zhao, Hongyin Zhang, Zifeng Zhuang, Wei Zhao, Siteng Huang, Jinkui Shi, Donglin Wang
cs.AI
Аннотация
Модели Vision-Language-Action (VLA) предназначены для управления роботами при выполнении манипуляционных задач на основе визуальных наблюдений и инструкций на естественном языке. Однако существующие иерархические и авторегрессионные парадигмы часто влекут за собой архитектурные накладные расходы, страдают от временной несогласованности и накопления ошибок на длительных горизонтах, а также не имеют механизма для учета динамики среды без дополнительных модулей. Для решения этих проблем мы представляем MMaDA-VLA — полностью нативную предобученную крупную диффузионную VLA-модель, которая объединяет многомодальное понимание и генерацию в единой архитектуре. Ключевая идея заключается в нативной формулировке дискретной диффузии, которая встраивает язык, изображения и непрерывные управления робота в единое дискретное токенное пространство и обучает единый бэкбон на задаче денойзинга замаскированных токенов для совместного параллельного генерации будущего целевого наблюдения и фрагмента действий. Итеративный денойзинг обеспечивает глобальное, не зависящее от порядка уточнение, улучшая согласованность на длительных горизонтах и связывая действия с предсказанными визуальными исходами без вспомогательных моделей мира. Эксперименты на симуляционных бенчмарках и реальных задачах демонстрируют наивысшую производительность: 98.0% среднего успеха на LIBERO и 4.78 средней длины на CALVIN.
English
Vision-Language-Action (VLA) models aim to control robots for manipulation from visual observations and natural-language instructions. However, existing hierarchical and autoregressive paradigms often introduce architectural overhead, suffer from temporal inconsistency and long-horizon error accumulation, and lack a mechanism to capture environment dynamics without extra modules. To this end, we present MMaDA-VLA, a fully native pre-trained large diffusion VLA model that unifies multi-modal understanding and generation in a single framework. Our key idea is a native discrete diffusion formulation that embeds language, images, and continuous robot controls into one discrete token space and trains a single backbone with masked token denoising to jointly generate a future goal observation and an action chunk in parallel. Iterative denoising enables global, order-free refinement, improving long-horizon consistency while grounding actions in predicted future visual outcomes without auxiliary world models. Experiments across simulation benchmarks and real-world tasks show state-of-the-art performance, achieving 98.0% average success on LIBERO and 4.78 average length on CALVIN.