Make-An-Agent: 行動プロンプト付き拡散による汎用性のあるポリシーネットワーク生成器

Make-An-Agent: A Generalizable Policy Network Generator with Behavior-Prompted Diffusion

July 15, 2024

著者: Yongyuan Liang, Tingqiang Xu, Kaizhe Hu, Guangqi Jiang, Furong Huang, Huazhe Xu

cs.AI

要旨

テキスト記述から画像を生成するのと同じくらい簡単に、望ましい行動のたった1つのデモンストレーションをプロンプトとして用いて、エージェントの制御ポリシーを生成できるだろうか？本論文では、行動からポリシーへの生成に条件付き拡散モデルの力を活用した新しいポリシーパラメータ生成器、Make-An-Agentを提案する。軌道情報をエンコードした行動埋め込みに導かれて、我々のポリシー生成器は潜在パラメータ表現を合成し、それをポリシーネットワークにデコードすることができる。ポリシーネットワークのチェックポイントとそれに対応する軌道で訓練された我々の生成モデルは、複数のタスクにおいて驚くべき汎用性とスケーラビリティを示し、未見のタスクにおいても少数のデモンストレーションを入力として優れたパフォーマンスのポリシーを出力する強い一般化能力を持つ。我々は、様々な目的や行動、さらには異なるロボットマニピュレータにわたる多様な領域やタスクにおいて、その有効性と効率性を実証する。シミュレーションを超えて、Make-An-Agentによって生成されたポリシーを、移動タスクにおいて実世界のロボットに直接展開する。

English

Can we generate a control policy for an agent using just one demonstration of desired behaviors as a prompt, as effortlessly as creating an image from a textual description? In this paper, we present Make-An-Agent, a novel policy parameter generator that leverages the power of conditional diffusion models for behavior-to-policy generation. Guided by behavior embeddings that encode trajectory information, our policy generator synthesizes latent parameter representations, which can then be decoded into policy networks. Trained on policy network checkpoints and their corresponding trajectories, our generation model demonstrates remarkable versatility and scalability on multiple tasks and has a strong generalization ability on unseen tasks to output well-performed policies with only few-shot demonstrations as inputs. We showcase its efficacy and efficiency on various domains and tasks, including varying objectives, behaviors, and even across different robot manipulators. Beyond simulation, we directly deploy policies generated by Make-An-Agent onto real-world robots on locomotion tasks.