Make-An-Agent: 행동 프롬프트 기반 확산 모델을 활용한 일반화 가능한 정책 네트워크 생성기

Make-An-Agent: A Generalizable Policy Network Generator with Behavior-Prompted Diffusion

July 15, 2024

저자: Yongyuan Liang, Tingqiang Xu, Kaizhe Hu, Guangqi Jiang, Furong Huang, Huazhe Xu

cs.AI

초록

텍스트 설명에서 이미지를 생성하는 것만큼이나 쉽게, 단 하나의 원하는 행동 시연만을 프롬프트로 사용하여 에이전트를 위한 제어 정책을 생성할 수 있을까요? 본 논문에서는 조건부 확산 모델의 힘을 활용하여 행동에서 정책으로의 생성을 가능하게 하는 새로운 정책 매개변수 생성기인 Make-An-Agent를 소개합니다. 궤적 정보를 인코딩한 행동 임베딩의 지도를 받아, 우리의 정책 생성기는 잠재 매개변수 표현을 합성하며, 이는 이후 정책 네트워크로 디코딩될 수 있습니다. 정책 네트워크 체크포인트와 그에 해당하는 궤적 데이터를 기반으로 훈련된 우리의 생성 모델은 여러 작업에서 뛰어난 다양성과 확장성을 보여주며, 소수의 시연만을 입력으로 받아 보이지 않는 작업에서도 잘 작동하는 정책을 출력하는 강력한 일반화 능력을 가지고 있습니다. 우리는 다양한 목표, 행동, 심지어 다른 로봇 매니퓰레이터에 걸친 다양한 도메인과 작업에서 그 효율성과 효과를 입증합니다. 시뮬레이션을 넘어, 우리는 Make-An-Agent에 의해 생성된 정책을 실제 로봇에 직접 배포하여 이동 작업을 수행합니다.

English

Can we generate a control policy for an agent using just one demonstration of desired behaviors as a prompt, as effortlessly as creating an image from a textual description? In this paper, we present Make-An-Agent, a novel policy parameter generator that leverages the power of conditional diffusion models for behavior-to-policy generation. Guided by behavior embeddings that encode trajectory information, our policy generator synthesizes latent parameter representations, which can then be decoded into policy networks. Trained on policy network checkpoints and their corresponding trajectories, our generation model demonstrates remarkable versatility and scalability on multiple tasks and has a strong generalization ability on unseen tasks to output well-performed policies with only few-shot demonstrations as inputs. We showcase its efficacy and efficiency on various domains and tasks, including varying objectives, behaviors, and even across different robot manipulators. Beyond simulation, we directly deploy policies generated by Make-An-Agent onto real-world robots on locomotion tasks.