Discrete Diffusion VLA: Einführung der diskreten Diffusion in die Aktionsdekodierung bei Vision-Sprache-Handlungs-Policies
Discrete Diffusion VLA: Bringing Discrete Diffusion to Action Decoding in Vision-Language-Action Policies
August 27, 2025
papers.authors: Zhixuan Liang, Yizhuo Li, Tianshuo Yang, Chengyue Wu, Sitong Mao, Liuao Pei, Xiaokang Yang, Jiangmiao Pang, Yao Mu, Ping Luo
cs.AI
papers.abstract
Vision-Language-Action (VLA)-Modelle passen große Vision-Language-Backbones an, um Bilder und Anweisungen auf Roboteraktionen abzubilden. Allerdings generieren gängige VLA-Decoder Aktionen entweder autoregressiv in einer festen Links-nach-rechts-Reihenfolge oder fügen kontinuierliche Diffusions- oder Flow-Matching-Köpfe außerhalb des Backbones hinzu, was spezialisiertes Training und iteratives Sampling erfordert und eine einheitliche, skalierbare Architektur behindert. Wir stellen Discrete Diffusion VLA vor, eine Single-Transformer-Policy, die diskretisierte Aktionsabschnitte mit diskreter Diffusion modelliert und mit demselben Kreuzentropie-Ziel wie der VLM-Backbone trainiert wird. Das Design behält das Paradigma der progressiven Verfeinerung der Diffusion bei, bleibt aber nativ kompatibel mit der diskreten Token-Schnittstelle von VLMs. Unser Ansatz erreicht eine adaptive Dekodierreihenfolge, die einfache Aktionselemente vor schwierigeren auflöst, und verwendet sekundäres Remasking, um unsichere Vorhersagen über Verfeinerungsrunden hinweg erneut zu betrachten, was die Konsistenz verbessert und eine robuste Fehlerkorrektur ermöglicht. Dieser einheitliche Decoder bewahrt vortrainierte Vision-Language-Priors, unterstützt parallele Dekodierung, durchbricht den autoregressiven Engpass und reduziert die Anzahl der Funktionsauswertungen. Discrete Diffusion VLA erreicht 96,3 % durchschnittliche SR auf LIBERO, 71,2 % visuelle Übereinstimmung auf SimplerEnv Fractal und 49,3 % insgesamt auf SimplerEnv Bridge und übertrifft damit sowohl autoregressive als auch kontinuierliche Diffusions-Baselines. Diese Ergebnisse zeigen, dass der diskrete Diffusions-Aktionsdecoder präzise Aktionsmodellierung und konsistentes Training unterstützt und die Grundlage für die Skalierung von VLA auf größere Modelle und Datensätze legt.
English
Vision-Language-Action (VLA) models adapt large vision-language backbones to
map images and instructions to robot actions. However, prevailing VLA decoders
either generate actions autoregressively in a fixed left-to-right order or
attach continuous diffusion or flow matching heads outside the backbone,
demanding specialized training and iterative sampling that hinder a unified,
scalable architecture. We present Discrete Diffusion VLA, a single-transformer
policy that models discretized action chunks with discrete diffusion and is
trained with the same cross-entropy objective as the VLM backbone. The design
retains diffusion's progressive refinement paradigm while remaining natively
compatible with the discrete token interface of VLMs. Our method achieves an
adaptive decoding order that resolves easy action elements before harder ones
and uses secondary remasking to revisit uncertain predictions across refinement
rounds, which improves consistency and enables robust error correction. This
unified decoder preserves pretrained vision language priors, supports parallel
decoding, breaks the autoregressive bottleneck, and reduces the number of
function evaluations. Discrete Diffusion VLA achieves 96.3% avg. SR on LIBERO,
71.2% visual matching on SimplerEnv Fractal and 49.3% overall on SimplerEnv
Bridge, improving over both autoregressive and continuous diffusion baselines.
These findings indicate that discrete-diffusion action decoder supports precise
action modeling and consistent training, laying groundwork for scaling VLA to
larger models and datasets.