WorldToken: ロボット模倣学習のための時間優先系列モデリング

要旨

ロボットポリシーは各決定ステップにおいて異種の観測を受け取るが、系列モデルはこれらの入力を時間軸上でどのように編成するかが異なる。我々は、各ポリシータイムステップ内のマルチビュー画像、プロプリオセプション、タスク条件付けを単一のワールドトークンに融合する、時間優先のポリシー実装であるWorldTokenを提案する。因果的時間Transformerが結果として得られるワールドトークン系列をモデル化し、拡散アクションヘッドがアクションチャンクを生成する。23のRoboCasaタスクにおいて、凍結された事前学習済みCLIPテキストエンコーダを除いてスクラッチから訓練された85.3Mパラメータのポリシーは、タスクごとに2,900件の生成デモンストレーションを用いて、平均閉ループ成功率59.45%を達成する。5つのデータセットサイズ、5つのモデルサイズ、2つのトレーニングシードにわたる完全要因スイープは、追加のターゲットドメインデータによる一貫した改善と、中程度のモデルサイズを超えた場合の収穫逓減を示す。同一チェックポイントを用いた履歴切り詰めの下では、可視履歴を1〜2ポリシータイムステップに削減すると、50のRoboCasaポリシーすべてにおいて閉ループ成功率が低下する。RMBench Blocks Rankingでは、可視履歴を146秒から8秒に削減すると評価成功率が95%から28%に低下する一方、探索的拡張ロールアウトは参照スワップシーケンスを850秒以上維持する。これらの結果は、完全なWorldToken実装の実証的実現可能性を確立し、検証された手法の下でのそのデータスケーリングと時間的文脈に関する挙動を特徴付けるものである。これらは、代替の系列構成に対する優位性を確立するものではなく、完全な実装のどの構成要素が観察された性能を駆動するかを切り分けるものでもない。

English

Robot policies receive heterogeneous observations at each decision step, yet sequence models differ in how they organize these inputs over time. We introduce WorldToken, a time-first policy instantiation that fuses multiview images, proprioception, and task conditioning within each policy timestep into one world token. A causal temporal Transformer models the resulting world-token sequence, and a diffusion action head generates action chunks. On 23 RoboCasa tasks, an 85.3M-parameter policy trained from scratch apart from a frozen pretrained CLIP text encoder achieves 59.45% mean closed-loop success using 2,900 generated demonstrations per task. A complete factorial sweep over five dataset sizes, five model sizes, and two training seeds shows consistent gains from additional target-domain data and diminishing returns beyond moderate model size. Under same-checkpoint history truncation, reducing visible history to one or two policy timesteps lowers closed-loop success for all 50 RoboCasa policies. On RMBench Blocks Ranking, reducing visible history from 146 to 8 seconds lowers evaluator success from 95% to 28%, while an exploratory extended rollout sustains the reference swap sequence for over 850 seconds. These results establish the empirical feasibility of the complete WorldToken instantiation and characterize its data-scaling and temporal-context behavior under the tested recipes. They do not establish superiority over alternative sequence organizations or isolate which components of the complete implementation drive the observed performance.