Planificación robótica de largo alcance en bucle cerrado a través de modelado de secuencias de equilibrio.

Closed-loop Long-horizon Robotic Planning via Equilibrium Sequence Modeling

October 2, 2024

Autores: Jinghan Li, Zhicheng Sun, Fei Li, Cao Sheng, Jiazhong Yu, Yadong Mu

cs.AI

Resumen

En el esfuerzo por hacer que los robots autónomos tomen acciones, la planificación de tareas es un desafío importante que requiere traducir descripciones de tareas de alto nivel en secuencias de acciones a largo plazo. A pesar de los avances recientes en agentes de modelos de lenguaje, siguen siendo propensos a errores de planificación y limitados en su capacidad para planificar con anticipación. Para abordar estas limitaciones en la planificación robótica, abogamos por un esquema de autorrefinamiento que refina de forma iterativa un plan preliminar hasta alcanzar un equilibrio. Notablemente, este proceso puede optimizarse de extremo a extremo desde una perspectiva analítica sin necesidad de crear verificadores adicionales o modelos de recompensa, lo que nos permite entrenar planificadores de autorrefinamiento de manera simple en un enfoque de aprendizaje supervisado. Mientras tanto, se ha diseñado un procedimiento de modelado de secuencia de equilibrio anidado para una planificación eficiente en bucle cerrado que incorpora retroalimentación útil del entorno (o un modelo de mundo interno). Nuestro método se evalúa en el banco de pruebas VirtualHome-Env, mostrando un rendimiento avanzado con una mejor escalabilidad para el cálculo de inferencia. El código está disponible en https://github.com/Singularity0104/equilibrium-planner.

English

In the endeavor to make autonomous robots take actions, task planning is a major challenge that requires translating high-level task descriptions into long-horizon action sequences. Despite recent advances in language model agents, they remain prone to planning errors and limited in their ability to plan ahead. To address these limitations in robotic planning, we advocate a self-refining scheme that iteratively refines a draft plan until an equilibrium is reached. Remarkably, this process can be optimized end-to-end from an analytical perspective without the need to curate additional verifiers or reward models, allowing us to train self-refining planners in a simple supervised learning fashion. Meanwhile, a nested equilibrium sequence modeling procedure is devised for efficient closed-loop planning that incorporates useful feedback from the environment (or an internal world model). Our method is evaluated on the VirtualHome-Env benchmark, showing advanced performance with better scaling for inference computation. Code is available at https://github.com/Singularity0104/equilibrium-planner.