ZimaBlue: スケーラブルな動画事前学習による汎化可能なワールドアクションモデルの進化

要旨

ロボット操作は、根本的なスケーリング上の課題に直面している。すなわち、ロバストな汎化には広範な物理的経験が必要である一方で、行動ラベル付きロボット軌道は収集コストが高く、本質的に多様性が限られている。エゴセントリック動画は、はるかにスケーラブルな身体化された経験のソースを提供し、多様な環境における物体相互作用、接触力学、ツール使用、および長期的な行動を捉える。中心的な課題は、この豊富ではあるが行動情報を含まない経験を、効果的なロボット制御に変換する方法である。我々は、大規模動画から汎化可能なWorld Action Model（WAM）を学習するためのスケーラブルなフレームワークであるZimaBlueを紹介する。ZimaBlueは3段階の学習カリキュラムに従う。まず、大規模な人間およびロボットのエゴセントリック動画に対して因果的身体化動画事前学習を実施し、次に統一された行動表現を用いた動画-行動中間学習を通じて、学習された視覚的ダイナミクスを異種ロボット軌道に接地し、最後に展開のためにモデルを対象ロボットに特化させる。生成的WAMをリアルタイム制御に実用的なものにするため、ZimaBlueはさらに非同期のSlow-Fast二重システムアーキテクチャを採用する。ここでは、高容量のSlowワールドモデルが汎化可能な時空間表現を提供し、軽量なFastブランチがNVIDIA RTX 4090上での30Hzの行動予測を可能にする。実際のロボットを用いたゼロショット評価では、対象ロボットのデータのみから120,000時間を超える身体化動画へとスケーリングすることで、成功率が36.1%から77.8%に向上した。ZimaBlueはさらに、複数のベンチマークにわたって優れた性能を発揮し、特に未見のタスクにおいて顕著な改善を示す。

English

Robotic manipulation faces a fundamental scaling challenge: robust generalization demands broad physical experience, yet action-labeled robot trajectories are expensive to collect and inherently limited in diversity. Egocentric videos offer a far more scalable source of embodied experience, capturing object interactions, contact dynamics, tool use, and long-horizon behaviors across diverse environments. The central challenge is how to convert this abundant but action-free experience into effective robot control. We introduce ZimaBlue, a scalable framework for learning generalizable World Action Models (WAMs) from large-scale video. ZimaBlue follows a three-stage training curriculum: it first performs causal embodied video pre-training on large-scale human and robot egocentric videos, then grounds the learned visual dynamics in heterogeneous robot trajectories through video-action mid-training with a unified action representation, and finally specializes the model to a target robot for deployment. To make generative WAMs practical for real-time control, ZimaBluefurther adopts an asynchronous Slow-Fast dual-system architecture, where a high-capacity Slow world model provides generalizable spatiotemporal representations and a lightweight Fast branch enables 30 Hz action prediction on NVIDIA RTX 4090. On real-robot zero-shot evaluations, scaling from target-robot data alone to over 120,000 hours of embodied video improves success from 36.1% to 77.8%. ZimaBlue further delivers strong performance across multiple benchmarks, with particularly pronounced gains on unseen tasks.