Pianificazione robotica a lungo termine a circuito chiuso tramite modellazione della sequenza di equilibrio

Closed-loop Long-horizon Robotic Planning via Equilibrium Sequence Modeling

October 2, 2024

Autori: Jinghan Li, Zhicheng Sun, Fei Li, Cao Sheng, Jiazhong Yu, Yadong Mu

cs.AI

Abstract

Nel tentativo di far sì che i robot autonomi agiscano, la pianificazione delle attività è una sfida importante che richiede la traduzione di descrizioni di attività di alto livello in sequenze di azioni a lungo termine. Nonostante i recenti progressi negli agenti dei modelli linguistici, rimangono inclini agli errori di pianificazione e limitati nella capacità di pianificare in anticipo. Per affrontare queste limitazioni nella pianificazione robotica, sosteniamo un sistema di auto-raffinamento che affina iterativamente un piano provvisorio fino a raggiungere un equilibrio. Notevolmente, questo processo può essere ottimizzato end-to-end da un punto di vista analitico senza la necessità di curare ulteriori verificatori o modelli di ricompensa, consentendoci di addestrare pianificatori di auto-raffinamento in modo semplice tramite apprendimento supervisionato. Nel frattempo, è stato ideato un procedimento di modellizzazione della sequenza di equilibrio nidificato per una pianificazione a ciclo chiuso efficiente che incorpora un feedback utile dall'ambiente (o da un modello di mondo interno). Il nostro metodo è valutato sul benchmark VirtualHome-Env, mostrando prestazioni avanzate con una migliore scalabilità per il calcolo inferenziale. Il codice è disponibile su https://github.com/Singularity0104/equilibrium-planner.

English

In the endeavor to make autonomous robots take actions, task planning is a major challenge that requires translating high-level task descriptions into long-horizon action sequences. Despite recent advances in language model agents, they remain prone to planning errors and limited in their ability to plan ahead. To address these limitations in robotic planning, we advocate a self-refining scheme that iteratively refines a draft plan until an equilibrium is reached. Remarkably, this process can be optimized end-to-end from an analytical perspective without the need to curate additional verifiers or reward models, allowing us to train self-refining planners in a simple supervised learning fashion. Meanwhile, a nested equilibrium sequence modeling procedure is devised for efficient closed-loop planning that incorporates useful feedback from the environment (or an internal world model). Our method is evaluated on the VirtualHome-Env benchmark, showing advanced performance with better scaling for inference computation. Code is available at https://github.com/Singularity0104/equilibrium-planner.