GRUtopia: Sognare Robot Generali in una Città su Scala

GRUtopia: Dream General Robots in a City at Scale

July 15, 2024

Autori: Hanqing Wang, Jiahe Chen, Wensi Huang, Qingwei Ben, Tai Wang, Boyu Mi, Tao Huang, Siheng Zhao, Yilun Chen, Sizhe Yang, Peizhou Cao, Wenye Yu, Zichao Ye, Jialun Li, Junfeng Long, Zirui Wang, Huiling Wang, Ying Zhao, Zhongying Tu, Yu Qiao, Dahua Lin, Jiangmiao Pang

cs.AI

Abstract

Recenti lavori hanno esplorato le leggi di scala nel campo dell'Intelligenza Artificiale Embodied. Considerati i costi proibitivi della raccolta di dati nel mondo reale, riteniamo che il paradigma Simulation-to-Real (Sim2Real) rappresenti un passaggio cruciale per scalare l'apprendimento di modelli embodied. Questo articolo introduce il progetto GRUtopia, la prima società interattiva simulata in 3D progettata per vari robot. Esso presenta diversi progressi: (a) Il dataset di scene, GRScenes, include 100k scene interattive e finemente annotate, che possono essere liberamente combinate in ambienti su scala cittadina. A differenza dei lavori precedenti, che si concentravano principalmente su ambienti domestici, GRScenes copre 89 categorie di scene diverse, colmando il vuoto degli ambienti orientati ai servizi in cui i robot generali verrebbero inizialmente impiegati. (b) GRResidents, un sistema di Personaggi Non Giocanti (NPC) guidato da un Large Language Model (LLM), responsabile dell'interazione sociale, della generazione di compiti e dell'assegnazione di compiti, simulando così scenari sociali per applicazioni di AI embodied. (c) Il benchmark, GRBench, supporta vari robot ma si concentra sui robot a zampe come agenti primari e propone compiti moderatamente impegnativi che coinvolgono Object Loco-Navigation, Social Loco-Navigation e Loco-Manipulation. Speriamo che questo lavoro possa alleviare la scarsità di dati di alta qualità in questo campo e fornire una valutazione più completa della ricerca sull'AI Embodied. Il progetto è disponibile all'indirizzo https://github.com/OpenRobotLab/GRUtopia.

English

Recent works have been exploring the scaling laws in the field of Embodied AI. Given the prohibitive costs of collecting real-world data, we believe the Simulation-to-Real (Sim2Real) paradigm is a crucial step for scaling the learning of embodied models. This paper introduces project GRUtopia, the first simulated interactive 3D society designed for various robots. It features several advancements: (a) The scene dataset, GRScenes, includes 100k interactive, finely annotated scenes, which can be freely combined into city-scale environments. In contrast to previous works mainly focusing on home, GRScenes covers 89 diverse scene categories, bridging the gap of service-oriented environments where general robots would be initially deployed. (b) GRResidents, a Large Language Model (LLM) driven Non-Player Character (NPC) system that is responsible for social interaction, task generation, and task assignment, thus simulating social scenarios for embodied AI applications. (c) The benchmark, GRBench, supports various robots but focuses on legged robots as primary agents and poses moderately challenging tasks involving Object Loco-Navigation, Social Loco-Navigation, and Loco-Manipulation. We hope that this work can alleviate the scarcity of high-quality data in this field and provide a more comprehensive assessment of Embodied AI research. The project is available at https://github.com/OpenRobotLab/GRUtopia.