Make-An-Agent: Un Generatore di Reti di Politica Generalizzabile con Diffusione Guidata dal Comportamento

Make-An-Agent: A Generalizable Policy Network Generator with Behavior-Prompted Diffusion

July 15, 2024

Autori: Yongyuan Liang, Tingqiang Xu, Kaizhe Hu, Guangqi Jiang, Furong Huang, Huazhe Xu

cs.AI

Abstract

Possiamo generare una politica di controllo per un agente utilizzando una sola dimostrazione di comportamenti desiderati come prompt, con la stessa facilità con cui si crea un'immagine da una descrizione testuale? In questo articolo, presentiamo Make-An-Agent, un innovativo generatore di parametri per politiche che sfrutta la potenza dei modelli di diffusione condizionata per la generazione di politiche a partire da comportamenti. Guidato da embedding comportamentali che codificano informazioni sulle traiettorie, il nostro generatore di politiche sintetizza rappresentazioni latenti dei parametri, che possono poi essere decodificate in reti di politiche. Addestrato su checkpoint di reti di politiche e sulle corrispondenti traiettorie, il nostro modello di generazione dimostra una notevole versatilità e scalabilità su molteplici task e possiede una forte capacità di generalizzazione su task non visti, producendo politiche ben performanti con solo poche dimostrazioni come input. Ne mostriamo l'efficacia e l'efficienza in vari domini e task, inclusi obiettivi variabili, comportamenti diversi e persino su diversi manipolatori robotici. Oltre alla simulazione, implementiamo direttamente le politiche generate da Make-An-Agent su robot reali per task di locomozione.

English

Can we generate a control policy for an agent using just one demonstration of desired behaviors as a prompt, as effortlessly as creating an image from a textual description? In this paper, we present Make-An-Agent, a novel policy parameter generator that leverages the power of conditional diffusion models for behavior-to-policy generation. Guided by behavior embeddings that encode trajectory information, our policy generator synthesizes latent parameter representations, which can then be decoded into policy networks. Trained on policy network checkpoints and their corresponding trajectories, our generation model demonstrates remarkable versatility and scalability on multiple tasks and has a strong generalization ability on unseen tasks to output well-performed policies with only few-shot demonstrations as inputs. We showcase its efficacy and efficiency on various domains and tasks, including varying objectives, behaviors, and even across different robot manipulators. Beyond simulation, we directly deploy policies generated by Make-An-Agent onto real-world robots on locomotion tasks.