ユニファイド拡散VLA：結合離散デノイジング拡散プロセスによる視覚-言語-行動モデル

要旨

視覚言語行動（VLA）モデルは、自然言語による指示と視覚的観測を理解し、具現化エージェントとして対応する行動を実行することを目的としている。近年の研究では、未来画像を理解-行動ループに統合し、テキストと画像を読み取り、未来画像と行動を生成する、すなわち理解・生成・行動を統一的に行うVLAが実現されている。しかし、これらのモデルは、モダリティ統合に外部の専門家モデルを依存するか、画像生成と行動予測を独立したプロセスとして扱っており、これらのタスク間の直接的な相乗効果の利点を制限している。我々の核となる哲学は、反復的な精緻化により行動が初期化から進化する、絶えず十分な視覚的ガイダンスの下での同期デノイジングプロセスを通じて、生成と行動を共同で最適化することである。我々はこの哲学を、提案する統一拡散VLAおよび共同離散デノイジング拡散プロセス（JD3P）に基づいて具体化する。JD3Pは、複数のモダリティを単一のデノイジング軌道に統合する共同拡散プロセスであり、理解、生成、行動が本質的に相乗的であることを可能にする鍵となるメカニズムとして機能する。我々のモデルと理論は、全てのモダリティの統一トークン化空間とハイブリッドアテンション機構に基づいて構築されている。さらに、性能と効率を最適化する2段階トレーニングパイプラインといくつかの推論時技術を提案する。我々のアプローチは、CALVIN、LIBERO、SimplerEnvなどのベンチマークで state-of-the-art 性能を達成し、自己回帰手法よりも4倍高速な推論を実現する。詳細な分析と実世界評価を通じてその有効性を実証する。プロジェクトページは https://irpn-eai.github.io/UD-VLA.github.io/ で公開されている。

English

Vision-language-action (VLA) models aim to understand natural language instructions and visual observations and to execute corresponding actions as an embodied agent. Recent work integrates future images into the understanding-acting loop, yielding unified VLAs that jointly understand, generate, and act -- reading text and images and producing future images and actions. However, these models either rely on external experts for modality unification or treat image generation and action prediction as separate processes, limiting the benefits of direct synergy between these tasks. Our core philosophy is to optimize generation and action jointly through a synchronous denoising process, where the iterative refinement enables actions to evolve from initialization, under constant and sufficient visual guidance. We ground this philosophy in our proposed Unified Diffusion VLA and Joint Discrete Denoising Diffusion Process (JD3P), which is a joint diffusion process that integrates multiple modalities into a single denoising trajectory to serve as the key mechanism enabling understanding, generation, and acting to be intrinsically synergistic. Our model and theory are built on a unified tokenized space of all modalities and a hybrid attention mechanism. We further propose a two-stage training pipeline and several inference-time techniques that optimize performance and efficiency. Our approach achieves state-of-the-art performance on benchmarks such as CALVIN, LIBERO, and SimplerEnv with 4times faster inference than autoregressive methods, and we demonstrate its effectiveness through in-depth analysis and real-world evaluations. Our project page is available at https://irpn-eai.github.io/UD-VLA.github.io/.

ユニファイド拡散VLA：結合離散デノイジング拡散プロセスによる視覚-言語-行動モデル

Unified Diffusion VLA: Vision-Language-Action Model via Joint Discrete Denoising Diffusion Process

要旨

Support