Планирование робототехнических действий на длительный срок с обратной связью через моделирование последовательности равновесия.

Closed-loop Long-horizon Robotic Planning via Equilibrium Sequence Modeling

October 2, 2024

Авторы: Jinghan Li, Zhicheng Sun, Fei Li, Cao Sheng, Jiazhong Yu, Yadong Mu

cs.AI

Аннотация

В стремлении к тому, чтобы автономные роботы принимали действия, планирование задач является основным вызовом, требующим преобразования описаний задач высокого уровня в последовательности действий на длительный горизонт. Несмотря на недавние достижения в агентах на языковых моделях, они по-прежнему подвержены ошибкам планирования и ограничены в своей способности к долгосрочному планированию. Для преодоления этих ограничений в робототехническом планировании мы выступаем за самосовершенствующую схему, которая итеративно улучшает черновой план до достижения равновесия. Замечательно, что этот процесс может быть оптимизирован end-to-end с аналитической точки зрения без необходимости курирования дополнительных проверяющих или моделей вознаграждения, что позволяет нам обучать самосовершенствующих планировщиков простым обучением с учителем. Тем временем разработана вложенная процедура моделирования последовательности равновесия для эффективного планирования в замкнутом цикле, которая включает полезную обратную связь из окружающей среды (или внутренней модели мира). Наш метод оценивается на бенчмарке VirtualHome-Env, показывая продвинутую производительность с лучшим масштабированием для вычислений вывода. Код доступен по ссылке https://github.com/Singularity0104/equilibrium-planner.

English

In the endeavor to make autonomous robots take actions, task planning is a major challenge that requires translating high-level task descriptions into long-horizon action sequences. Despite recent advances in language model agents, they remain prone to planning errors and limited in their ability to plan ahead. To address these limitations in robotic planning, we advocate a self-refining scheme that iteratively refines a draft plan until an equilibrium is reached. Remarkably, this process can be optimized end-to-end from an analytical perspective without the need to curate additional verifiers or reward models, allowing us to train self-refining planners in a simple supervised learning fashion. Meanwhile, a nested equilibrium sequence modeling procedure is devised for efficient closed-loop planning that incorporates useful feedback from the environment (or an internal world model). Our method is evaluated on the VirtualHome-Env benchmark, showing advanced performance with better scaling for inference computation. Code is available at https://github.com/Singularity0104/equilibrium-planner.