GRUtopia: 대규모 도시에서의 꿈의 범용 로봇

GRUtopia: Dream General Robots in a City at Scale

July 15, 2024

저자: Hanqing Wang, Jiahe Chen, Wensi Huang, Qingwei Ben, Tai Wang, Boyu Mi, Tao Huang, Siheng Zhao, Yilun Chen, Sizhe Yang, Peizhou Cao, Wenye Yu, Zichao Ye, Jialun Li, Junfeng Long, Zirui Wang, Huiling Wang, Ying Zhao, Zhongying Tu, Yu Qiao, Dahua Lin, Jiangmiao Pang

cs.AI

초록

최근 연구들은 Embodied AI 분야에서의 스케일링 법칙을 탐구하고 있습니다. 실세계 데이터 수집의 막대한 비용을 고려할 때, 우리는 시뮬레이션-투-리얼(Sim2Real) 패러다임이 embodied 모델 학습의 규모 확장에 있어 중요한 단계라고 믿습니다. 본 논문은 다양한 로봇을 위해 설계된 최초의 시뮬레이션된 상호작용형 3D 사회인 프로젝트 GRUtopia를 소개합니다. 이 프로젝트는 다음과 같은 몇 가지 발전을 특징으로 합니다: (a) 장면 데이터셋인 GRScenes는 10만 개의 상호작용 가능하고 세밀하게 주석이 달린 장면을 포함하며, 이를 자유롭게 조합하여 도시 규모의 환경을 구성할 수 있습니다. 주로 가정 환경에 초점을 맞춘 기존 연구와 달리, GRScenes는 89개의 다양한 장면 카테고리를 다루어, 일반 로봇이 초기 배치될 서비스 지향 환경의 격차를 메웁니다. (b) GRResidents는 대형 언어 모델(LLM) 기반의 NPC(Non-Player Character) 시스템으로, 사회적 상호작용, 작업 생성 및 작업 할당을 담당하여 embodied AI 애플리케이션을 위한 사회적 시나리오를 시뮬레이션합니다. (c) 벤치마크인 GRBench은 다양한 로봇을 지원하지만, 주 에이전트로서 다리형 로봇에 초점을 맞추고, 객체 이동-탐색, 사회적 이동-탐색, 이동-조작과 같은 중간 수준의 도전적인 과제를 제시합니다. 우리는 이 작업이 이 분야에서 고품질 데이터의 부족을 완화하고, Embodied AI 연구에 대한 보다 포괄적인 평가를 제공할 수 있기를 바랍니다. 이 프로젝트는 https://github.com/OpenRobotLab/GRUtopia에서 확인할 수 있습니다.

English

Recent works have been exploring the scaling laws in the field of Embodied AI. Given the prohibitive costs of collecting real-world data, we believe the Simulation-to-Real (Sim2Real) paradigm is a crucial step for scaling the learning of embodied models. This paper introduces project GRUtopia, the first simulated interactive 3D society designed for various robots. It features several advancements: (a) The scene dataset, GRScenes, includes 100k interactive, finely annotated scenes, which can be freely combined into city-scale environments. In contrast to previous works mainly focusing on home, GRScenes covers 89 diverse scene categories, bridging the gap of service-oriented environments where general robots would be initially deployed. (b) GRResidents, a Large Language Model (LLM) driven Non-Player Character (NPC) system that is responsible for social interaction, task generation, and task assignment, thus simulating social scenarios for embodied AI applications. (c) The benchmark, GRBench, supports various robots but focuses on legged robots as primary agents and poses moderately challenging tasks involving Object Loco-Navigation, Social Loco-Navigation, and Loco-Manipulation. We hope that this work can alleviate the scarcity of high-quality data in this field and provide a more comprehensive assessment of Embodied AI research. The project is available at https://github.com/OpenRobotLab/GRUtopia.