GRUtopia: Traumhafte General Robots in einer Stadt im großen Maßstab

GRUtopia: Dream General Robots in a City at Scale

July 15, 2024

Autoren: Hanqing Wang, Jiahe Chen, Wensi Huang, Qingwei Ben, Tai Wang, Boyu Mi, Tao Huang, Siheng Zhao, Yilun Chen, Sizhe Yang, Peizhou Cao, Wenye Yu, Zichao Ye, Jialun Li, Junfeng Long, Zirui Wang, Huiling Wang, Ying Zhao, Zhongying Tu, Yu Qiao, Dahua Lin, Jiangmiao Pang

cs.AI

Zusammenfassung

In jüngster Zeit wurden die Skalierungsgesetze im Bereich der verkörperten KI erforscht. Angesichts der hohen Kosten für die Sammlung von Echtwelt-Daten halten wir das Simulation-to-Real (Sim2Real)-Paradigma für einen entscheidenden Schritt zur Skalierung des Lernens verkörperter Modelle. Dieses Papier stellt das Projekt GRUtopia vor, die erste simulierte interaktive 3D-Gesellschaft, die für verschiedene Roboter konzipiert wurde. Es bietet mehrere Fortschritte: (a) Der Szenendatensatz, GRScenes, umfasst 100.000 interaktive, fein annotierte Szenen, die frei zu stadtweiten Umgebungen kombiniert werden können. Im Gegensatz zu früheren Arbeiten, die sich hauptsächlich auf den Haushalt konzentrierten, deckt GRScenes 89 verschiedene Szenenkategorien ab und überbrückt somit die Lücke serviceorientierter Umgebungen, in denen allgemeine Roboter zunächst eingesetzt werden würden. (b) GRResidents, ein von einem Large Language Model (LLM) gesteuertes Non-Player Character (NPC)-System, das für soziale Interaktion, Aufgabenerstellung und Aufgabenverteilung verantwortlich ist und somit soziale Szenarien für verkörperte KI-Anwendungen simuliert. (c) Der Benchmark, GRBench, unterstützt verschiedene Roboter, konzentriert sich jedoch auf Bein-Roboter als Hauptakteure und stellt moderat anspruchsvolle Aufgaben wie Objekt-Lokalisierungsnavigation, Soziale Lokalisierungsnavigation und Lokale Manipulation. Wir hoffen, dass diese Arbeit den Mangel an hochwertigen Daten in diesem Bereich lindern und eine umfassendere Bewertung der verkörperten KI-Forschung ermöglichen kann. Das Projekt ist unter https://github.com/OpenRobotLab/GRUtopia verfügbar.

English

Recent works have been exploring the scaling laws in the field of Embodied AI. Given the prohibitive costs of collecting real-world data, we believe the Simulation-to-Real (Sim2Real) paradigm is a crucial step for scaling the learning of embodied models. This paper introduces project GRUtopia, the first simulated interactive 3D society designed for various robots. It features several advancements: (a) The scene dataset, GRScenes, includes 100k interactive, finely annotated scenes, which can be freely combined into city-scale environments. In contrast to previous works mainly focusing on home, GRScenes covers 89 diverse scene categories, bridging the gap of service-oriented environments where general robots would be initially deployed. (b) GRResidents, a Large Language Model (LLM) driven Non-Player Character (NPC) system that is responsible for social interaction, task generation, and task assignment, thus simulating social scenarios for embodied AI applications. (c) The benchmark, GRBench, supports various robots but focuses on legged robots as primary agents and poses moderately challenging tasks involving Object Loco-Navigation, Social Loco-Navigation, and Loco-Manipulation. We hope that this work can alleviate the scarcity of high-quality data in this field and provide a more comprehensive assessment of Embodied AI research. The project is available at https://github.com/OpenRobotLab/GRUtopia.