異種マスク付き自己回帰を用いた実世界アクションビデオダイナミクスの学習

Learning Real-World Action-Video Dynamics with Heterogeneous Masked Autoregression

February 6, 2025

著者: Lirui Wang, Kevin Zhao, Chaoqi Liu, Xinlei Chen

cs.AI

要旨

私たちは、高品質のデータ生成とスケーリングロボット学習における評価のために、アクションビデオのダイナミクスをモデリングするための異種マスク付き自己回帰（Heterogeneous Masked Autoregression、HMA）を提案します。ロボティクスのインタラクティブなビデオワールドモデルとポリシーを構築することは、多様な設定を扱いつつリアルタイムで実行するための計算効率を維持するという課題があるため困難です。HMAは、異なるロボットの具現化、ドメイン、タスク間での観測とアクションシーケンスからの異種事前トレーニングを使用します。HMAは、ビデオ予測のために量子化されたまたはソフトなトークンを生成するためにマスク付き自己回帰を使用します。\ourshort は、以前のロボットビデオ生成モデルよりも視覚的忠実度と制御性が向上し、リアルワールドで15倍高速です。ポストトレーニング後、このモデルは、ポリシーの評価や合成データの生成のための低レベルのアクション入力からのビデオシミュレータとして使用できます。詳細については、このリンクhttps://liruiw.github.io/hmaを参照してください。

English

We propose Heterogeneous Masked Autoregression (HMA) for modeling action-video dynamics to generate high-quality data and evaluation in scaling robot learning. Building interactive video world models and policies for robotics is difficult due to the challenge of handling diverse settings while maintaining computational efficiency to run in real time. HMA uses heterogeneous pre-training from observations and action sequences across different robotic embodiments, domains, and tasks. HMA uses masked autoregression to generate quantized or soft tokens for video predictions. \ourshort achieves better visual fidelity and controllability than the previous robotic video generation models with 15 times faster speed in the real world. After post-training, this model can be used as a video simulator from low-level action inputs for evaluating policies and generating synthetic data. See this link https://liruiw.github.io/hma for more information.