RoboTALES: 작업 정렬 시뮬레이션 미래를 통한 추론 유도 로봇 정책 학습

초록

사전 학습된 비디오 생성 모델은 시각-운동 제어를 위한 유망한 백본이지만, 이들이 상상하는 미래는 종종 작업 의도에서 벗어나고 행동 조건부로 신뢰할 수 없습니다. 결과적으로 이러한 모델은 계획 수립이나 정책 추출에 사용하기 어려울 수 있습니다. 이러한 한계를 해결하기 위해, 우리는 작업 정렬 시뮬레이션 미래를 학습하고 이를 사용하여 로봇 정책을 훈련하는 단일 단계 프레임워크인 RoboTALES를 제안합니다. 우리의 접근 방식은 두 가지 주요 혁신을 도입합니다: (1) 복잡한 작업을 일련의 하위 목표로 분해하여 모델의 상상을 안내하는 계층적 LLM 기반 계획기; (2) 이러한 "상상된" 미래를 평가하고 보상 기반 피드백을 사용하여 모델의 내부 표현이 목표에 집중되도록 유지하는 VLM 기반 비판기입니다. 비디오 생성기를 추상적 추론에 고정시킴으로써, 우리는 시간적으로 일관된 롤아웃과 더 일관된 행동을 생성합니다. RoboCasa와 LIBERO10의 다양한 조작 작업에서 RoboTALES를 평가하고, 우리의 방법이 특히 장기 과제에서 기존 방법을 일관되게 능가함을 보여줍니다. 우리의 코드와 모델은 https://github.com/hananshafi/RoboTALES에서 공개적으로 이용 가능합니다.

English

Pretrained video generative models are promising backbones for visuomotor control, but their imagined futures often drift from task intent and are not reliably action-conditional. As a result, these models can be difficult to use for planning or policy extraction. To address these limitations, we propose RoboTALES, a single-stage framework that learns task-aligned simulated futures and uses them to train robot policies. Our approach introduces two key innovations: (1) a hierarchical LLM-based planner that breaks complex tasks into a sequence of subgoals to guide the model's imagination; and (2) a VLM-based critic that evaluates these ``imagined'' futures and uses reward-based feedback to keep the model's internal representations focused on the goal. By anchoring the video generator in abstract reasoning, we produce temporally consistent rollouts and more coherent actions. We evaluate RoboTALES on diverse manipulation tasks from RoboCasa and LIBERO10, and show that our method consistently outperforms existing methods, especially in long-horizon tasks. Our code and models are publicly available at https://github.com/hananshafi/RoboTALES.