Planification robotique à long terme en boucle fermée via modélisation de séquences d'équilibre.

Closed-loop Long-horizon Robotic Planning via Equilibrium Sequence Modeling

October 2, 2024

Auteurs: Jinghan Li, Zhicheng Sun, Fei Li, Cao Sheng, Jiazhong Yu, Yadong Mu

cs.AI

Résumé

Dans l'effort de permettre aux robots autonomes d'agir, la planification de tâches est un défi majeur qui nécessite de traduire des descriptions de tâches de haut niveau en séquences d'actions à longue portée. Malgré les récentes avancées dans les agents de modèles linguistiques, ces derniers restent sujets à des erreurs de planification et limités dans leur capacité à anticiper. Pour pallier ces limitations dans la planification robotique, nous préconisons un schéma d'autoraffinement qui affine de manière itérative un plan préliminaire jusqu'à atteindre un équilibre. Remarquablement, ce processus peut être optimisé de bout en bout d'un point de vue analytique sans nécessiter la création de vérificateurs supplémentaires ou de modèles de récompense, nous permettant de former des planificateurs d'autoraffinement de manière simple en apprentissage supervisé. Parallèlement, une procédure de modélisation de séquence d'équilibre imbriquée est conçue pour une planification en boucle fermée efficace qui intègre des retours utiles de l'environnement (ou d'un modèle interne du monde). Notre méthode est évaluée sur le banc d'essai VirtualHome-Env, démontrant des performances avancées avec une meilleure évolutivité pour le calcul d'inférence. Le code est disponible sur https://github.com/Singularity0104/equilibrium-planner.

English

In the endeavor to make autonomous robots take actions, task planning is a major challenge that requires translating high-level task descriptions into long-horizon action sequences. Despite recent advances in language model agents, they remain prone to planning errors and limited in their ability to plan ahead. To address these limitations in robotic planning, we advocate a self-refining scheme that iteratively refines a draft plan until an equilibrium is reached. Remarkably, this process can be optimized end-to-end from an analytical perspective without the need to curate additional verifiers or reward models, allowing us to train self-refining planners in a simple supervised learning fashion. Meanwhile, a nested equilibrium sequence modeling procedure is devised for efficient closed-loop planning that incorporates useful feedback from the environment (or an internal world model). Our method is evaluated on the VirtualHome-Env benchmark, showing advanced performance with better scaling for inference computation. Code is available at https://github.com/Singularity0104/equilibrium-planner.