RoboGen: 생성적 시뮬레이션을 통한 자동화된 로봇 학습을 위한 무한 데이터 활용을 향하여

RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation

November 2, 2023

저자: Yufei Wang, Zhou Xian, Feng Chen, Tsun-Hsuan Wang, Yian Wang, Katerina Fragkiadaki, Zackory Erickson, David Held, Chuang Gan

cs.AI

초록

우리는 생성적 시뮬레이션을 통해 대규모로 다양한 로봇 기술을 자동으로 학습하는 생성형 로봇 에이전트인 RoboGen을 소개합니다. RoboGen은 최신의 기초 모델 및 생성 모델의 발전을 활용합니다. 이러한 모델을 직접 사용하거나 정책이나 저수준 동작을 생성하도록 조정하는 대신, 우리는 생성적 방식을 제안합니다. 이 방식은 이러한 모델을 사용하여 다양한 작업, 장면 및 훈련 감독을 자동으로 생성함으로써 최소한의 인간 감독으로 로봇 기술 학습을 확장합니다. 우리의 접근 방식은 로봇 에이전트에 자율적인 제안-생성-학습 사이클을 부여합니다: 에이전트는 먼저 개발할 흥미로운 작업과 기술을 제안한 다음, 관련 객체와 자산을 적절한 공간 구성으로 배치하여 해당 시뮬레이션 환경을 생성합니다. 이후, 에이전트는 제안된 상위 작업을 하위 작업으로 분해하고 최적의 학습 접근 방식(강화 학습, 모션 계획, 또는 궤적 최적화)을 선택한 후, 필요한 훈련 감독을 생성하고 제안된 기술을 습득하기 위한 정책을 학습합니다. 우리의 작업은 대규모 모델에 내재된 광범위하고 다재다능한 지식을 추출하여 로봇 공학 분야로 전달하려는 시도입니다. 우리의 완전한 생성 파이프라인은 반복적으로 질의될 수 있으며, 다양한 작업과 환경과 연관된 끝없는 기술 시연 스트림을 생성합니다.

English

We present RoboGen, a generative robotic agent that automatically learns diverse robotic skills at scale via generative simulation. RoboGen leverages the latest advancements in foundation and generative models. Instead of directly using or adapting these models to produce policies or low-level actions, we advocate for a generative scheme, which uses these models to automatically generate diversified tasks, scenes, and training supervisions, thereby scaling up robotic skill learning with minimal human supervision. Our approach equips a robotic agent with a self-guided propose-generate-learn cycle: the agent first proposes interesting tasks and skills to develop, and then generates corresponding simulation environments by populating pertinent objects and assets with proper spatial configurations. Afterwards, the agent decomposes the proposed high-level task into sub-tasks, selects the optimal learning approach (reinforcement learning, motion planning, or trajectory optimization), generates required training supervision, and then learns policies to acquire the proposed skill. Our work attempts to extract the extensive and versatile knowledge embedded in large-scale models and transfer them to the field of robotics. Our fully generative pipeline can be queried repeatedly, producing an endless stream of skill demonstrations associated with diverse tasks and environments.