Make-An-Agent: Een Generaliseerbaar Beleidsnetwerk Generator met Gedragsgestuurde Diffusie

Make-An-Agent: A Generalizable Policy Network Generator with Behavior-Prompted Diffusion

July 15, 2024

Auteurs: Yongyuan Liang, Tingqiang Xu, Kaizhe Hu, Guangqi Jiang, Furong Huang, Huazhe Xu

cs.AI

Samenvatting

Kunnen we een controlebeleid voor een agent genereren met slechts één demonstratie van gewenst gedrag als prompt, net zo moeiteloos als het creëren van een afbeelding vanuit een tekstuele beschrijving? In dit artikel presenteren we Make-An-Agent, een nieuwe beleidsparametergenerator die gebruikmaakt van de kracht van conditionele diffusiemodellen voor gedrag-naar-beleid-generatie. Geleid door gedragsinbeddingen die trajectinformatie coderen, synthetiseert onze beleidsgenerator latente parameterrepresentaties, die vervolgens kunnen worden gedecodeerd in beleidsnetwerken. Getraind op beleidsnetwerkcheckpoints en hun bijbehorende trajecten, toont ons generatiemodel opmerkelijke veelzijdigheid en schaalbaarheid bij meerdere taken en heeft het een sterke generalisatiecapaciteit op onbekende taken om goed presterende beleidsregels te produceren met slechts enkele demonstraties als invoer. We demonstreren de effectiviteit en efficiëntie ervan in verschillende domeinen en taken, waaronder variërende doelstellingen, gedragingen en zelfs over verschillende robotmanipulatoren. Naast simulatie implementeren we beleidsregels die door Make-An-Agent zijn gegenereerd direct op echte robots bij voortbewegingstaken.

English

Can we generate a control policy for an agent using just one demonstration of desired behaviors as a prompt, as effortlessly as creating an image from a textual description? In this paper, we present Make-An-Agent, a novel policy parameter generator that leverages the power of conditional diffusion models for behavior-to-policy generation. Guided by behavior embeddings that encode trajectory information, our policy generator synthesizes latent parameter representations, which can then be decoded into policy networks. Trained on policy network checkpoints and their corresponding trajectories, our generation model demonstrates remarkable versatility and scalability on multiple tasks and has a strong generalization ability on unseen tasks to output well-performed policies with only few-shot demonstrations as inputs. We showcase its efficacy and efficiency on various domains and tasks, including varying objectives, behaviors, and even across different robot manipulators. Beyond simulation, we directly deploy policies generated by Make-An-Agent onto real-world robots on locomotion tasks.