Dita: 汎用視覚-言語-行動ポリシーのための拡散Transformerのスケーリング

Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy

March 25, 2025

著者: Zhi Hou, Tianyi Zhang, Yuwen Xiong, Haonan Duan, Hengjun Pu, Ronglei Tong, Chengyang Zhao, Xizhou Zhu, Yu Qiao, Jifeng Dai, Yuntao Chen

cs.AI

要旨

近年の多様なロボットデータセットで訓練された視覚-言語-行動モデルは、限られたドメイン内データで有望な汎化能力を示しているが、離散化または連続的な行動を予測するためのコンパクトな行動ヘッドへの依存が、異種の行動空間への適応性を制約している。本論文では、Transformerアーキテクチャを活用し、統一されたマルチモーダル拡散プロセスを通じて連続的な行動シーケンスを直接的にノイズ除去するスケーラブルなフレームワーク、Ditaを提案する。従来の手法が浅いネットワークを介して融合された埋め込みに基づいてノイズ除去を行うのに対し、Ditaはコンテキスト内条件付けを採用し、ノイズ除去された行動と過去の観測からの生の視覚トークンとの細粒度のアラインメントを可能にする。この設計は、行動の差分と環境のニュアンスを明示的にモデル化する。拡散行動ノイズ除去器をTransformerのスケーラビリティと共にスケーリングすることで、Ditaは多様なカメラ視点、観測シーン、タスク、行動空間にわたるクロスエンボディメントデータセットを効果的に統合する。このようなシナジーは、様々な変動に対する堅牢性を高め、長期的なタスクの成功を促進する。広範なベンチマークでの評価は、シミュレーションにおいて最先端または同等の性能を示している。特に、Ditaは、サードパーソンカメラ入力のみを使用した10ショットのファインチューニングを通じて、環境変動や複雑な長期的タスクに対する堅牢な実世界適応を達成する。このアーキテクチャは、汎用ロボットポリシー学習のための汎用的で軽量かつオープンソースのベースラインを確立する。プロジェクトページ: https://robodita.github.io。

English

While recent vision-language-action models trained on diverse robot datasets exhibit promising generalization capabilities with limited in-domain data, their reliance on compact action heads to predict discretized or continuous actions constrains adaptability to heterogeneous action spaces. We present Dita, a scalable framework that leverages Transformer architectures to directly denoise continuous action sequences through a unified multimodal diffusion process. Departing from prior methods that condition denoising on fused embeddings via shallow networks, Dita employs in-context conditioning -- enabling fine-grained alignment between denoised actions and raw visual tokens from historical observations. This design explicitly models action deltas and environmental nuances. By scaling the diffusion action denoiser alongside the Transformer's scalability, Dita effectively integrates cross-embodiment datasets across diverse camera perspectives, observation scenes, tasks, and action spaces. Such synergy enhances robustness against various variances and facilitates the successful execution of long-horizon tasks. Evaluations across extensive benchmarks demonstrate state-of-the-art or comparative performance in simulation. Notably, Dita achieves robust real-world adaptation to environmental variances and complex long-horizon tasks through 10-shot finetuning, using only third-person camera inputs. The architecture establishes a versatile, lightweight and open-source baseline for generalist robot policy learning. Project Page: https://robodita.github.io.