WorldDiT：世界と行動のモデリングのための統一拡散アーキテクチャ

要旨

近年の多くのロボット政策は、大規模な事前学習済み視覚言語モデル（VLM）を行動基盤として利用することで、より強力な制御を追求している。本稿では、行動生成と視覚的世界モデリングを統合した統一拡散型トランスフォーマーアーキテクチャであるWorldDiTを提案する。これは大規模な事前学習済みVLM行動基盤を必要とせず、強力な性能を実現する。学習時には、単一の拡散型トランスフォーマーが連続的な行動チャンクを生成し、将来のカメラフレームから正規化されたRGBパッチターゲットを予測する。4つのLIBEROシミュレーションスイートにおいて、WorldDiTは、全4スイートの結果を報告する手法の中で、総モデルパラメータ数と平均成功率に関する報告済みパレートフロンティア上に位置する。これらの結果は、今後のスケーリング研究に向けた強力なサブビリオンパラメータベースラインを提供する。

English

Many recent robot policies pursue stronger control by using large pretrained vision-language models (VLMs) as the action backbone. We introduce WorldDiT, a unified diffusion transformer architecture that couples action generation with visual world modeling and achieves strong performance without a large pretrained VLM action backbone. During training, a single diffusion transformer generates continuous action chunks and predicts normalized RGB patch targets from future camera frames. Across four LIBERO simulation suites, WorldDiT lies on the reported Pareto frontier for total model parameters and mean success among methods reporting all four suites. These results provide a strong sub-billion-parameter baseline for future scaling studies.