ГРУтопия: Генеральные Роботы в Городе Масштаба

GRUtopia: Dream General Robots in a City at Scale

July 15, 2024

Авторы: Hanqing Wang, Jiahe Chen, Wensi Huang, Qingwei Ben, Tai Wang, Boyu Mi, Tao Huang, Siheng Zhao, Yilun Chen, Sizhe Yang, Peizhou Cao, Wenye Yu, Zichao Ye, Jialun Li, Junfeng Long, Zirui Wang, Huiling Wang, Ying Zhao, Zhongying Tu, Yu Qiao, Dahua Lin, Jiangmiao Pang

cs.AI

Аннотация

В последние время исследуются законы масштабирования в области Воплощенного ИИ. Учитывая огромные затраты на сбор данных из реального мира, мы считаем, что парадигма Симуляции-в-Реальность (Sim2Real) является ключевым шагом для масштабирования обучения моделей воплощенного ИИ. В данной статье представлен проект GRUtopia, первое симулированное интерактивное 3D общество, разработанное для различных роботов. Он включает в себя несколько усовершенствований: (a) Набор сцен GRScenes включает 100 тыс. интерактивных, тщательно аннотированных сцен, которые могут быть свободно объединены в городские среды. В отличие от предыдущих работ, сосредоточенных в основном на домашних условиях, GRScenes охватывает 89 разнообразных категорий сцен, устраняя разрыв в средах, ориентированных на обслуживание, где обычные роботы могли бы быть начально развернуты. (b) GRResidents - это система Неигровых Персонажей (NPC), управляемая Большой Языковой Моделью (LLM), которая отвечает за социальное взаимодействие, генерацию задач и назначение задач, тем самым моделируя социальные сценарии для приложений воплощенного ИИ. (c) Бенчмарк GRBench поддерживает различных роботов, но сосредоточен на роботах с ногами в качестве основных агентов и предлагает умеренно сложные задачи, включающие Локо-Навигацию Объектов, Социальную Локо-Навигацию и Локо-Манипуляцию. Мы надеемся, что эта работа сможет смягчить дефицит высококачественных данных в этой области и обеспечить более всестороннюю оценку исследований по воплощенному ИИ. Проект доступен по ссылке https://github.com/OpenRobotLab/GRUtopia.

English

Recent works have been exploring the scaling laws in the field of Embodied AI. Given the prohibitive costs of collecting real-world data, we believe the Simulation-to-Real (Sim2Real) paradigm is a crucial step for scaling the learning of embodied models. This paper introduces project GRUtopia, the first simulated interactive 3D society designed for various robots. It features several advancements: (a) The scene dataset, GRScenes, includes 100k interactive, finely annotated scenes, which can be freely combined into city-scale environments. In contrast to previous works mainly focusing on home, GRScenes covers 89 diverse scene categories, bridging the gap of service-oriented environments where general robots would be initially deployed. (b) GRResidents, a Large Language Model (LLM) driven Non-Player Character (NPC) system that is responsible for social interaction, task generation, and task assignment, thus simulating social scenarios for embodied AI applications. (c) The benchmark, GRBench, supports various robots but focuses on legged robots as primary agents and poses moderately challenging tasks involving Object Loco-Navigation, Social Loco-Navigation, and Loco-Manipulation. We hope that this work can alleviate the scarcity of high-quality data in this field and provide a more comprehensive assessment of Embodied AI research. The project is available at https://github.com/OpenRobotLab/GRUtopia.