GRUtopia: Robôs Gerais dos Sonhos em uma Cidade em Escala
GRUtopia: Dream General Robots in a City at Scale
July 15, 2024
Autores: Hanqing Wang, Jiahe Chen, Wensi Huang, Qingwei Ben, Tai Wang, Boyu Mi, Tao Huang, Siheng Zhao, Yilun Chen, Sizhe Yang, Peizhou Cao, Wenye Yu, Zichao Ye, Jialun Li, Junfeng Long, Zirui Wang, Huiling Wang, Ying Zhao, Zhongying Tu, Yu Qiao, Dahua Lin, Jiangmiao Pang
cs.AI
Resumo
Trabalhos recentes têm explorado as leis de escala no campo da IA Corporificada. Dados os custos proibitivos de coletar dados do mundo real, acreditamos que o paradigma Simulação-para-Real (Sim2Real) é um passo crucial para escalar o aprendizado de modelos corporificados. Este artigo apresenta o projeto GRUtopia, a primeira sociedade interativa 3D simulada projetada para vários robôs. Ele apresenta várias inovações: (a) O conjunto de dados de cena, GRScenes, inclui 100 mil cenas interativas finamente anotadas, que podem ser combinadas livremente em ambientes em escala de cidade. Em contraste com trabalhos anteriores que se concentravam principalmente em ambientes domésticos, o GRScenes abrange 89 categorias de cena diversas, preenchendo a lacuna de ambientes orientados a serviços onde robôs gerais seriam inicialmente implantados. (b) GRResidents, um sistema de Personagem Não-Jogador (NPC) impulsionado por um Modelo de Linguagem Grande (LLM) que é responsável pela interação social, geração de tarefas e atribuição de tarefas, simulando assim cenários sociais para aplicações de IA corporificada. (c) O benchmark, GRBench, suporta vários robôs, mas foca em robôs com pernas como agentes principais e propõe tarefas moderadamente desafiadoras envolvendo Navegação de Objetos, Navegação Social e Manipulação de Locomoção. Esperamos que este trabalho possa aliviar a escassez de dados de alta qualidade neste campo e fornecer uma avaliação mais abrangente da pesquisa em IA Corporificada. O projeto está disponível em https://github.com/OpenRobotLab/GRUtopia.
English
Recent works have been exploring the scaling laws in the field of Embodied
AI. Given the prohibitive costs of collecting real-world data, we believe the
Simulation-to-Real (Sim2Real) paradigm is a crucial step for scaling the
learning of embodied models. This paper introduces project GRUtopia, the first
simulated interactive 3D society designed for various robots. It features
several advancements: (a) The scene dataset, GRScenes, includes 100k
interactive, finely annotated scenes, which can be freely combined into
city-scale environments. In contrast to previous works mainly focusing on home,
GRScenes covers 89 diverse scene categories, bridging the gap of
service-oriented environments where general robots would be initially deployed.
(b) GRResidents, a Large Language Model (LLM) driven Non-Player Character (NPC)
system that is responsible for social interaction, task generation, and task
assignment, thus simulating social scenarios for embodied AI applications. (c)
The benchmark, GRBench, supports various robots but focuses on legged robots as
primary agents and poses moderately challenging tasks involving Object
Loco-Navigation, Social Loco-Navigation, and Loco-Manipulation. We hope that
this work can alleviate the scarcity of high-quality data in this field and
provide a more comprehensive assessment of Embodied AI research. The project is
available at https://github.com/OpenRobotLab/GRUtopia.