GRUtopia: Droom van Algemene Robots in een Stad op Schaal

GRUtopia: Dream General Robots in a City at Scale

July 15, 2024

Auteurs: Hanqing Wang, Jiahe Chen, Wensi Huang, Qingwei Ben, Tai Wang, Boyu Mi, Tao Huang, Siheng Zhao, Yilun Chen, Sizhe Yang, Peizhou Cao, Wenye Yu, Zichao Ye, Jialun Li, Junfeng Long, Zirui Wang, Huiling Wang, Ying Zhao, Zhongying Tu, Yu Qiao, Dahua Lin, Jiangmiao Pang

cs.AI

Samenvatting

Recente onderzoeken hebben de schaalwetten in het veld van Embodied AI verkend. Gezien de buitensporige kosten van het verzamelen van real-world data, geloven we dat het Simulation-to-Real (Sim2Real) paradigma een cruciale stap is voor het opschalen van het leren van embodied modellen. Dit artikel introduceert project GRUtopia, de eerste gesimuleerde interactieve 3D-samenleving ontworpen voor diverse robots. Het bevat verschillende verbeteringen: (a) De scène dataset, GRScenes, omvat 100k interactieve, fijn geannoteerde scènes, die vrij kunnen worden gecombineerd tot stadsomgevingen. In tegenstelling tot eerdere werken die zich vooral op huizen richtten, beslaat GRScenes 89 diverse scènecategorieën, waardoor de kloof wordt overbrugd van servicegerichte omgevingen waar algemene robots aanvankelijk zouden worden ingezet. (b) GRResidents, een Large Language Model (LLM) gedreven Non-Player Character (NPC) systeem dat verantwoordelijk is voor sociale interactie, taakgeneratie en taaktoewijzing, waardoor sociale scenario's worden gesimuleerd voor embodied AI toepassingen. (c) De benchmark, GRBench, ondersteunt diverse robots maar richt zich vooral op potenrobots als primaire agenten en stelt matig uitdagende taken voor die Object Loco-Navigatie, Sociale Loco-Navigatie en Loco-Manipulatie omvatten. We hopen dat dit werk het gebrek aan hoogwaardige data in dit veld kan verlichten en een meer uitgebreide beoordeling van Embodied AI onderzoek kan bieden. Het project is beschikbaar op https://github.com/OpenRobotLab/GRUtopia.

English

Recent works have been exploring the scaling laws in the field of Embodied AI. Given the prohibitive costs of collecting real-world data, we believe the Simulation-to-Real (Sim2Real) paradigm is a crucial step for scaling the learning of embodied models. This paper introduces project GRUtopia, the first simulated interactive 3D society designed for various robots. It features several advancements: (a) The scene dataset, GRScenes, includes 100k interactive, finely annotated scenes, which can be freely combined into city-scale environments. In contrast to previous works mainly focusing on home, GRScenes covers 89 diverse scene categories, bridging the gap of service-oriented environments where general robots would be initially deployed. (b) GRResidents, a Large Language Model (LLM) driven Non-Player Character (NPC) system that is responsible for social interaction, task generation, and task assignment, thus simulating social scenarios for embodied AI applications. (c) The benchmark, GRBench, supports various robots but focuses on legged robots as primary agents and poses moderately challenging tasks involving Object Loco-Navigation, Social Loco-Navigation, and Loco-Manipulation. We hope that this work can alleviate the scarcity of high-quality data in this field and provide a more comprehensive assessment of Embodied AI research. The project is available at https://github.com/OpenRobotLab/GRUtopia.