RoboTALES: タスク整合型シミュレート未来による推論誘導型ロボットポリシーの学習

要旨

事前学習済み動画生成モデルは視覚運動制御のための有望な基盤技術であるが、その生成する未来予測はタスクの意図から乖離することが多く、確実に行動条件付きであるとは限らない。そのため、これらのモデルを計画や方策抽出に利用することは困難な場合がある。これらの制約に対処するため、我々はRoboTALESを提案する。これはタスクに整合したシミュレーション未来を学習し、それを用いてロボット方策を訓練する単一ステージフレームワークである。本手法は以下の2つの主要な革新を導入する。(1) 複雑なタスクを一連のサブゴールに分解し、モデルの想像を誘導する階層的LLMベースのプランナー。(2) これらの「想像された」未来を評価し、報酬ベースのフィードバックを用いてモデルの内部表現を目標に集中させるVLMベースの批評家。動画生成器を抽象的推論に固定することにより、時間的に一貫したロールアウトとより整合性の高い行動を生成する。我々はRoboTALESをRoboCasaおよびLIBERO10の多様な操作タスクで評価し、本手法が既存手法、特に長期タスクにおいて一貫して優位であることを示す。コードとモデルはhttps://github.com/hananshafi/RoboTALESで公開している。

English

Pretrained video generative models are promising backbones for visuomotor control, but their imagined futures often drift from task intent and are not reliably action-conditional. As a result, these models can be difficult to use for planning or policy extraction. To address these limitations, we propose RoboTALES, a single-stage framework that learns task-aligned simulated futures and uses them to train robot policies. Our approach introduces two key innovations: (1) a hierarchical LLM-based planner that breaks complex tasks into a sequence of subgoals to guide the model's imagination; and (2) a VLM-based critic that evaluates these ``imagined'' futures and uses reward-based feedback to keep the model's internal representations focused on the goal. By anchoring the video generator in abstract reasoning, we produce temporally consistent rollouts and more coherent actions. We evaluate RoboTALES on diverse manipulation tasks from RoboCasa and LIBERO10, and show that our method consistently outperforms existing methods, especially in long-horizon tasks. Our code and models are publicly available at https://github.com/hananshafi/RoboTALES.