Planejamento Robótico de Longo Prazo em Malha Fechada por Meio da Modelagem de Sequência de Equilíbrio

Closed-loop Long-horizon Robotic Planning via Equilibrium Sequence Modeling

October 2, 2024

Autores: Jinghan Li, Zhicheng Sun, Fei Li, Cao Sheng, Jiazhong Yu, Yadong Mu

cs.AI

Resumo

Na tentativa de fazer com que robôs autônomos ajam, o planejamento de tarefas é um desafio importante que requer a tradução de descrições de tarefas em níveis elevados em sequências de ações de longo prazo. Apesar dos avanços recentes em agentes de modelos de linguagem, eles continuam propensos a erros de planejamento e limitados em sua capacidade de planejar com antecedência. Para lidar com essas limitações no planejamento robótico, defendemos um esquema de auto-refinamento que refina iterativamente um plano inicial até que um equilíbrio seja alcançado. Notavelmente, esse processo pode ser otimizado de ponta a ponta de uma perspectiva analítica sem a necessidade de curar verificadores adicionais ou modelos de recompensa, permitindo-nos treinar planejadores de auto-refinamento de maneira simples, em um estilo de aprendizado supervisionado. Enquanto isso, um procedimento de modelagem de sequência de equilíbrio aninhado é concebido para um planejamento eficiente em loop fechado que incorpora feedback útil do ambiente (ou de um modelo de mundo interno). Nosso método é avaliado no benchmark VirtualHome-Env, mostrando um desempenho avançado com melhor escalabilidade para computação de inferência. O código está disponível em https://github.com/Singularity0104/equilibrium-planner.

English

In the endeavor to make autonomous robots take actions, task planning is a major challenge that requires translating high-level task descriptions into long-horizon action sequences. Despite recent advances in language model agents, they remain prone to planning errors and limited in their ability to plan ahead. To address these limitations in robotic planning, we advocate a self-refining scheme that iteratively refines a draft plan until an equilibrium is reached. Remarkably, this process can be optimized end-to-end from an analytical perspective without the need to curate additional verifiers or reward models, allowing us to train self-refining planners in a simple supervised learning fashion. Meanwhile, a nested equilibrium sequence modeling procedure is devised for efficient closed-loop planning that incorporates useful feedback from the environment (or an internal world model). Our method is evaluated on the VirtualHome-Env benchmark, showing advanced performance with better scaling for inference computation. Code is available at https://github.com/Singularity0104/equilibrium-planner.