Gesloten-lus langetermijn robotplanning via evenwichtssequentiemodellering

Closed-loop Long-horizon Robotic Planning via Equilibrium Sequence Modeling

October 2, 2024

Auteurs: Jinghan Li, Zhicheng Sun, Fei Li, Cao Sheng, Jiazhong Yu, Yadong Mu

cs.AI

Samenvatting

In de poging om autonome robots acties te laten ondernemen, is taakplanning een grote uitdaging die vereist dat hoog-niveau taakbeschrijvingen worden vertaald naar actiesequenties op lange termijn. Ondanks recente vooruitgang in taalmodelagenten, blijven ze gevoelig voor planningsfouten en beperkt in hun vermogen om vooruit te plannen. Om deze beperkingen in robotplanning aan te pakken, pleiten wij voor een zelfverfijnend schema dat een conceptueel plan iteratief verfijnt tot een evenwicht is bereikt. Opmerkelijk genoeg kan dit proces end-to-end worden geoptimaliseerd vanuit een analytisch perspectief zonder de noodzaak van extra verificatoren of beloningsmodellen te cureren, waardoor we zelfverfijnende planners kunnen trainen op een eenvoudige supervisie-leerwijze. Ondertussen is een genest modelleerprocedure voor evenwichtssequenties ontwikkeld voor efficiënte gesloten-lus planning die nuttige feedback van de omgeving (of een intern wereldmodel) incorporeert. Onze methode wordt geëvalueerd op de VirtualHome-Env benchmark, waarbij geavanceerde prestaties worden getoond met een betere schaalbaarheid voor inferentieberekening. De code is beschikbaar op https://github.com/Singularity0104/equilibrium-planner.

English

In the endeavor to make autonomous robots take actions, task planning is a major challenge that requires translating high-level task descriptions into long-horizon action sequences. Despite recent advances in language model agents, they remain prone to planning errors and limited in their ability to plan ahead. To address these limitations in robotic planning, we advocate a self-refining scheme that iteratively refines a draft plan until an equilibrium is reached. Remarkably, this process can be optimized end-to-end from an analytical perspective without the need to curate additional verifiers or reward models, allowing us to train self-refining planners in a simple supervised learning fashion. Meanwhile, a nested equilibrium sequence modeling procedure is devised for efficient closed-loop planning that incorporates useful feedback from the environment (or an internal world model). Our method is evaluated on the VirtualHome-Env benchmark, showing advanced performance with better scaling for inference computation. Code is available at https://github.com/Singularity0104/equilibrium-planner.