Make-An-Agent: Генератор общего назначения сетей политики с диффузией, стимулируемой поведением

Make-An-Agent: A Generalizable Policy Network Generator with Behavior-Prompted Diffusion

July 15, 2024

Авторы: Yongyuan Liang, Tingqiang Xu, Kaizhe Hu, Guangqi Jiang, Furong Huang, Huazhe Xu

cs.AI

Аннотация

Можем ли мы создать стратегию управления для агента, используя только одно демонстрацию желаемого поведения в качестве подсказки, так же легко, как создание изображения по текстовому описанию? В данной статье мы представляем Make-An-Agent, новый генератор параметров стратегии, который использует мощь условных моделей диффузии для генерации стратегии из поведения. Руководствуясь вложениями поведения, которые кодируют информацию о траектории, наш генератор стратегии синтезирует латентные представления параметров, которые затем могут быть декодированы в сети стратегии. Обученная на точках контрольных точек сетей стратегии и соответствующих им траекториях, наша модель генерации демонстрирует замечательную гибкость и масштабируемость на нескольких задачах и обладает сильной обобщающей способностью на невидимых задачах для вывода хорошо выполняемых стратегий с вводом только нескольких демонстраций. Мы демонстрируем ее эффективность и эффективность на различных областях и задачах, включая различные цели, поведения, и даже на различных манипуляторах роботов. Помимо симуляции, мы напрямую развертываем стратегии, созданные Make-An-Agent, на реальных роботах в задачах локомоции.

English

Can we generate a control policy for an agent using just one demonstration of desired behaviors as a prompt, as effortlessly as creating an image from a textual description? In this paper, we present Make-An-Agent, a novel policy parameter generator that leverages the power of conditional diffusion models for behavior-to-policy generation. Guided by behavior embeddings that encode trajectory information, our policy generator synthesizes latent parameter representations, which can then be decoded into policy networks. Trained on policy network checkpoints and their corresponding trajectories, our generation model demonstrates remarkable versatility and scalability on multiple tasks and has a strong generalization ability on unseen tasks to output well-performed policies with only few-shot demonstrations as inputs. We showcase its efficacy and efficiency on various domains and tasks, including varying objectives, behaviors, and even across different robot manipulators. Beyond simulation, we directly deploy policies generated by Make-An-Agent onto real-world robots on locomotion tasks.