RoboTALES: Lernen von Reasoning-gesteuerten Roboterpolitiken mittels aufgabenabgestimmter simulierter Zukünfte

Zusammenfassung

Vortrainierte videogenerative Modelle sind vielversprechende Grundlagen für die visuomotorische Steuerung, jedoch weichen ihre imaginierten Zukünfte oft von der Aufgabenintention ab und sind nicht zuverlässig handlungsbedingt. Daher sind diese Modelle schwierig für die Planung oder Extraktion von Politiken zu verwenden. Um diese Einschränkungen zu adressieren, schlagen wir RoboTALES vor, ein einstufiges Framework, das aufgabenangepasste simulierte Zukünfte lernt und diese zum Trainieren von Roboterpolitiken nutzt. Unser Ansatz führt zwei zentrale Innovationen ein: (1) einen hierarchischen, auf LLM basierenden Planer, der komplexe Aufgaben in eine Sequenz von Teilzielen zerlegt, um die Imagination des Modells zu lenken; und (2) einen auf VLM basierenden Kritiker, der diese „imaginierten“ Zukünfte bewertet und mittels belohnungsbasierten Feedbacks die internen Repräsentationen des Modells auf das Ziel fokussiert hält. Durch die Verankerung des Videogenerators in abstrakten Schlussfolgerungen erzeugen wir zeitlich konsistente Rollouts und kohärentere Aktionen. Wir evaluieren RoboTALES an verschiedenen Manipulationsaufgaben aus RoboCasa und LIBERO10 und zeigen, dass unsere Methode durchgängig besser abschneidet als bestehende Verfahren, insbesondere bei langfristigen Aufgaben. Unser Code und unsere Modelle sind öffentlich verfügbar unter https://github.com/hananshafi/RoboTALES.

English

Pretrained video generative models are promising backbones for visuomotor control, but their imagined futures often drift from task intent and are not reliably action-conditional. As a result, these models can be difficult to use for planning or policy extraction. To address these limitations, we propose RoboTALES, a single-stage framework that learns task-aligned simulated futures and uses them to train robot policies. Our approach introduces two key innovations: (1) a hierarchical LLM-based planner that breaks complex tasks into a sequence of subgoals to guide the model's imagination; and (2) a VLM-based critic that evaluates these ``imagined'' futures and uses reward-based feedback to keep the model's internal representations focused on the goal. By anchoring the video generator in abstract reasoning, we produce temporally consistent rollouts and more coherent actions. We evaluate RoboTALES on diverse manipulation tasks from RoboCasa and LIBERO10, and show that our method consistently outperforms existing methods, especially in long-horizon tasks. Our code and models are publicly available at https://github.com/hananshafi/RoboTALES.