Geschlossene Regelkreis Langfristige Roboterplanung über Gleichgewichtssequenzmodellierung

Closed-loop Long-horizon Robotic Planning via Equilibrium Sequence Modeling

October 2, 2024

Autoren: Jinghan Li, Zhicheng Sun, Fei Li, Cao Sheng, Jiazhong Yu, Yadong Mu

cs.AI

Zusammenfassung

Im Bestreben, autonome Roboter zu Handlungen zu veranlassen, ist die Aufgabenplanung eine große Herausforderung, die die Übersetzung von hochrangigen Aufgabenbeschreibungen in langfristige Aktionssequenzen erfordert. Trotz der jüngsten Fortschritte bei Sprachmodell-Agenten sind sie anfällig für Planungsfehler und eingeschränkt in ihrer Fähigkeit, vorauszuplanen. Um diese Einschränkungen in der robotischen Planung zu bewältigen, befürworten wir ein selbstverfeinerndes Schema, das einen Entwurfsplan iterativ verfeinert, bis ein Gleichgewicht erreicht ist. Bemerkenswerterweise kann dieser Prozess aus einer analytischen Perspektive end-to-end optimiert werden, ohne dass zusätzliche Verifizierer oder Belohnungsmodelle kuratiert werden müssen, was es uns ermöglicht, selbstverfeinernde Planer auf einfache Weise im Rahmen des überwachten Lernens zu trainieren. Gleichzeitig wird ein verschachteltes Gleichgewichtssequenzmodellierungsverfahren für eine effiziente Closed-Loop-Planung entwickelt, das nützliches Feedback aus der Umgebung (oder einem internen Weltmodell) einbezieht. Unsere Methode wird am VirtualHome-Env-Benchmark evaluiert, was eine fortschrittliche Leistung mit besserer Skalierung für Inferenzberechnungen zeigt. Der Code ist verfügbar unter https://github.com/Singularity0104/equilibrium-planner.

English

In the endeavor to make autonomous robots take actions, task planning is a major challenge that requires translating high-level task descriptions into long-horizon action sequences. Despite recent advances in language model agents, they remain prone to planning errors and limited in their ability to plan ahead. To address these limitations in robotic planning, we advocate a self-refining scheme that iteratively refines a draft plan until an equilibrium is reached. Remarkably, this process can be optimized end-to-end from an analytical perspective without the need to curate additional verifiers or reward models, allowing us to train self-refining planners in a simple supervised learning fashion. Meanwhile, a nested equilibrium sequence modeling procedure is devised for efficient closed-loop planning that incorporates useful feedback from the environment (or an internal world model). Our method is evaluated on the VirtualHome-Env benchmark, showing advanced performance with better scaling for inference computation. Code is available at https://github.com/Singularity0104/equilibrium-planner.