RoboTTT: ロボットポリシーのためのコンテキストスケーリング

要旨

近年のロボット基盤モデルは、単一ステップまたは短い履歴の視覚運動コンテクストで動作する。本稿では、Test-Time-Trainingロボットポリシー（RoboTTT）を導入する。これは、推論遅延を増大させることなく、視覚運動コンテクストを最先端ポリシーの3桁以上にあたる8Kタイムステップに拡張するロボットモデルおよび学習手法である。このコンテクスト長により、新たなロボット能力が解放される。すなわち、人間のビデオデモンストレーションからのワンショット・インコンテクスト模倣、オンザフライでのポリシー改善、摂動に対するロバスト性、そして多段階・長時間ホライゾンタスクにおける強化された性能である。また、事前学習のコンテクスト長の拡大に伴い、閉ループ性能が安定的に向上することを初めて観察した。RoboTTTの核心は、Test-Time TrainingをVision-Language-Actionポリシーなどのロボット基盤モデルに統合することである。これにより、リカレント状態が高速重み（訓練時および推論時に勾配降下法で更新されるパラメータ）から成る系列モデルが得られ、履歴を重み空間に圧縮し、長コンテクスト条件付けのための文脈情報を検索する。学習コンテクスト長を拡大するため、手法は系列行動強制と打ち切り逆伝播法（Truncated Backpropagation Through Time）を組み合わせる。挑戦的な実機ロボット操作タスクにおいて、RoboTTTは単一ステップコンテクストベースラインと比較して全体性能を87%向上させ、全ベースラインが達成できなかった5分間・10段階の組立タスクを完全に完了する。8Kタイムステップコンテクストで訓練されたRoboTTTは、1Kタイムステップで事前学習された同一モデルを62%上回り、コンテクスト長がロボット基盤モデルの新たなスケーリング軸であることを示唆する。ビデオはhttps://research.nvidia.com/labs/gear/robottt/ で公開されている。

English

Recent robot foundation models operate with single-step or short-history visuomotor context. We introduce Test-Time-Training Robot Policies (RoboTTT), a robot model and training recipe that scale visuomotor context to 8K timesteps, three orders of magnitude beyond state-of-the-art policies, without growing inference latency. At this context length, we unlock new robot capabilities: one-shot in-context imitation from human video demonstrations, on-the-fly policy improvement, robustness to perturbations, and stronger performance on multi-stage, long-horizon tasks. We also observe, for the first time, steady gains in closed-loop performance as pretraining context length scales. At its core, RoboTTT integrates Test-Time Training into robot foundation models such as Vision-Language-Action policies, yielding a sequence model whose recurrent state consists of fast weights, parameters updated by gradient descent during both training and inference, compressing histories into weight space and retrieving contextual information for long-context conditioning. To scale training context length, the recipe combines sequence action forcing with truncated backpropagation through time. On challenging real-robot manipulation tasks, RoboTTT improves overall performance by 87% over the single-step context baseline and fully completes a five-minute, ten-stage assembly task, which no baseline ever does. RoboTTT trained with 8K-timestep context outperforms the same model pretrained with 1K timesteps by 62%, suggesting context length as a new scaling axis for robot foundation models. Videos are available at https://research.nvidia.com/labs/gear/robottt/