GRUtopia : Des robots généralistes de rêve dans une ville à grande échelle

GRUtopia: Dream General Robots in a City at Scale

July 15, 2024

Auteurs: Hanqing Wang, Jiahe Chen, Wensi Huang, Qingwei Ben, Tai Wang, Boyu Mi, Tao Huang, Siheng Zhao, Yilun Chen, Sizhe Yang, Peizhou Cao, Wenye Yu, Zichao Ye, Jialun Li, Junfeng Long, Zirui Wang, Huiling Wang, Ying Zhao, Zhongying Tu, Yu Qiao, Dahua Lin, Jiangmiao Pang

cs.AI

Résumé

Les travaux récents explorent les lois d'échelle dans le domaine de l'IA incarnée. Compte tenu des coûts prohibitifs liés à la collecte de données du monde réel, nous pensons que le paradigme Simulation-à-Réel (Sim2Real) constitue une étape cruciale pour l'échelle d'apprentissage des modèles incarnés. Cet article présente le projet GRUtopia, la première société interactive 3D simulée conçue pour divers robots. Il propose plusieurs avancées : (a) Le jeu de données de scènes, GRScenes, comprend 100 000 scènes interactives finement annotées, qui peuvent être librement combinées pour créer des environnements à l'échelle d'une ville. Contrairement aux travaux précédents axés principalement sur les environnements domestiques, GRScenes couvre 89 catégories de scènes variées, comblant ainsi le manque d'environnements orientés services où les robots généralistes seraient initialement déployés. (b) GRResidents, un système de Personnages Non-Joueurs (PNJ) piloté par un Modèle de Langage de Grande Taille (LLM), responsable des interactions sociales, de la génération de tâches et de leur attribution, simulant ainsi des scénarios sociaux pour les applications d'IA incarnée. (c) Le benchmark, GRBench, prend en charge divers robots mais se concentre sur les robots à pattes comme agents principaux et propose des tâches modérément complexes impliquant la Navigation Locale d'Objets, la Navigation Locale Sociale et la Manipulation Locale. Nous espérons que ce travail pourra atténuer la pénurie de données de haute qualité dans ce domaine et offrir une évaluation plus complète de la recherche en IA incarnée. Le projet est disponible à l'adresse https://github.com/OpenRobotLab/GRUtopia.

English

Recent works have been exploring the scaling laws in the field of Embodied AI. Given the prohibitive costs of collecting real-world data, we believe the Simulation-to-Real (Sim2Real) paradigm is a crucial step for scaling the learning of embodied models. This paper introduces project GRUtopia, the first simulated interactive 3D society designed for various robots. It features several advancements: (a) The scene dataset, GRScenes, includes 100k interactive, finely annotated scenes, which can be freely combined into city-scale environments. In contrast to previous works mainly focusing on home, GRScenes covers 89 diverse scene categories, bridging the gap of service-oriented environments where general robots would be initially deployed. (b) GRResidents, a Large Language Model (LLM) driven Non-Player Character (NPC) system that is responsible for social interaction, task generation, and task assignment, thus simulating social scenarios for embodied AI applications. (c) The benchmark, GRBench, supports various robots but focuses on legged robots as primary agents and poses moderately challenging tasks involving Object Loco-Navigation, Social Loco-Navigation, and Loco-Manipulation. We hope that this work can alleviate the scarcity of high-quality data in this field and provide a more comprehensive assessment of Embodied AI research. The project is available at https://github.com/OpenRobotLab/GRUtopia.