GRUtopia: Robots Generales en un Sueño de Ciudad a Gran Escala

GRUtopia: Dream General Robots in a City at Scale

July 15, 2024

Autores: Hanqing Wang, Jiahe Chen, Wensi Huang, Qingwei Ben, Tai Wang, Boyu Mi, Tao Huang, Siheng Zhao, Yilun Chen, Sizhe Yang, Peizhou Cao, Wenye Yu, Zichao Ye, Jialun Li, Junfeng Long, Zirui Wang, Huiling Wang, Ying Zhao, Zhongying Tu, Yu Qiao, Dahua Lin, Jiangmiao Pang

cs.AI

Resumen

Trabajos recientes han estado explorando las leyes de escala en el campo de la IA Encarnada. Dados los costos prohibitivos de recolectar datos del mundo real, creemos que el paradigma de Simulación-a-Real (Sim2Real) es un paso crucial para escalar el aprendizaje de modelos encarnados. Este documento presenta el proyecto GRUtopia, la primera sociedad interactiva simulada en 3D diseñada para varios robots. Incluye varios avances: (a) El conjunto de escenas, GRScenes, que consta de 100k escenas interactivas finamente anotadas, las cuales pueden combinarse libremente en entornos a escala de ciudad. A diferencia de trabajos anteriores que se centraban principalmente en el hogar, GRScenes abarca 89 categorías de escenas diversas, cerrando la brecha de entornos orientados al servicio donde los robots generales serían desplegados inicialmente. (b) GRResidents, un sistema de Personajes No Jugadores (NPC) impulsado por un Gran Modelo de Lenguaje (LLM) que es responsable de la interacción social, generación de tareas y asignación de tareas, simulando así escenarios sociales para aplicaciones de IA encarnada. (c) El conjunto de pruebas, GRBench, admite varios robots pero se centra en robots con patas como agentes principales y plantea tareas moderadamente desafiantes que involucran Localización de Objetos, Navegación Social y Manipulación Local. Esperamos que este trabajo pueda aliviar la escasez de datos de alta calidad en este campo y proporcionar una evaluación más completa de la investigación en IA Encarnada. El proyecto está disponible en https://github.com/OpenRobotLab/GRUtopia.

English

Recent works have been exploring the scaling laws in the field of Embodied AI. Given the prohibitive costs of collecting real-world data, we believe the Simulation-to-Real (Sim2Real) paradigm is a crucial step for scaling the learning of embodied models. This paper introduces project GRUtopia, the first simulated interactive 3D society designed for various robots. It features several advancements: (a) The scene dataset, GRScenes, includes 100k interactive, finely annotated scenes, which can be freely combined into city-scale environments. In contrast to previous works mainly focusing on home, GRScenes covers 89 diverse scene categories, bridging the gap of service-oriented environments where general robots would be initially deployed. (b) GRResidents, a Large Language Model (LLM) driven Non-Player Character (NPC) system that is responsible for social interaction, task generation, and task assignment, thus simulating social scenarios for embodied AI applications. (c) The benchmark, GRBench, supports various robots but focuses on legged robots as primary agents and poses moderately challenging tasks involving Object Loco-Navigation, Social Loco-Navigation, and Loco-Manipulation. We hope that this work can alleviate the scarcity of high-quality data in this field and provide a more comprehensive assessment of Embodied AI research. The project is available at https://github.com/OpenRobotLab/GRUtopia.