平衡シーケンスモデリングを介したクローズドループ長期ロボット計画

Closed-loop Long-horizon Robotic Planning via Equilibrium Sequence Modeling

October 2, 2024

著者: Jinghan Li, Zhicheng Sun, Fei Li, Cao Sheng, Jiazhong Yu, Yadong Mu

cs.AI

要旨

自律ロボットが行動を起こすための取り組みにおいて、タスクプランニングは、高レベルなタスク記述を長期のアクションシーケンスに変換することを必要とする重要な課題です。最近の言語モデルエージェントの進歩にもかかわらず、それらは計画エラーに陥りやすく、先を読む能力に制限があります。ロボットの計画におけるこれらの制限に対処するために、私たちは、ドラフトプランを均衡状態に達するまで反復的に洗練する自己洗練スキームを提唱しています。驚くべきことに、このプロセスは、追加の検証者や報酬モデルを選定する必要なく、解析的観点からエンドツーエンドで最適化できるため、自己洗練プランナーを簡単な教師あり学習の形式でトレーニングできます。一方、効率的なクローズドループ計画のために環境（または内部ワールドモデル）から有用なフィードバックを取り入れるためのネストされた均衡シーケンスモデリング手法が考案されています。私たちの手法は、VirtualHome-Envベンチマークで評価され、推論計算のスケーリングが向上した高度なパフォーマンスを示しています。コードはhttps://github.com/Singularity0104/equilibrium-plannerで入手可能です。

English

In the endeavor to make autonomous robots take actions, task planning is a major challenge that requires translating high-level task descriptions into long-horizon action sequences. Despite recent advances in language model agents, they remain prone to planning errors and limited in their ability to plan ahead. To address these limitations in robotic planning, we advocate a self-refining scheme that iteratively refines a draft plan until an equilibrium is reached. Remarkably, this process can be optimized end-to-end from an analytical perspective without the need to curate additional verifiers or reward models, allowing us to train self-refining planners in a simple supervised learning fashion. Meanwhile, a nested equilibrium sequence modeling procedure is devised for efficient closed-loop planning that incorporates useful feedback from the environment (or an internal world model). Our method is evaluated on the VirtualHome-Env benchmark, showing advanced performance with better scaling for inference computation. Code is available at https://github.com/Singularity0104/equilibrium-planner.