GRUtopia：スケール化された都市における夢の汎用ロボット

GRUtopia: Dream General Robots in a City at Scale

July 15, 2024

著者: Hanqing Wang, Jiahe Chen, Wensi Huang, Qingwei Ben, Tai Wang, Boyu Mi, Tao Huang, Siheng Zhao, Yilun Chen, Sizhe Yang, Peizhou Cao, Wenye Yu, Zichao Ye, Jialun Li, Junfeng Long, Zirui Wang, Huiling Wang, Ying Zhao, Zhongying Tu, Yu Qiao, Dahua Lin, Jiangmiao Pang

cs.AI

要旨

近年、Embodied AIの分野におけるスケーリング則の探求が進められています。現実世界のデータ収集にかかる莫大なコストを考慮すると、Simulation-to-Real（Sim2Real）パラダイムは、具象化モデルの学習をスケールアップするための重要なステップであると考えられます。本論文では、様々なロボット向けに設計された初のシミュレーション型インタラクティブ3D社会「プロジェクトGRUtopia」を紹介します。このプロジェクトには以下のような進展が含まれています：(a) シーンデータセット「GRScenes」は、10万のインタラクティブで詳細に注釈付けされたシーンを含み、これらを自由に組み合わせて都市規模の環境を構築できます。従来の研究が主に家庭環境に焦点を当てていたのに対し、GRScenesは89の多様なシーンカテゴリーを網羅し、汎用ロボットが最初に展開されるサービス指向環境のギャップを埋めます。(b) 「GRResidents」は、大規模言語モデル（LLM）によって駆動されるノンプレイヤーキャラクター（NPC）システムで、社会的相互作用、タスク生成、タスク割り当てを担当し、具象化AIアプリケーションのための社会的シナリオをシミュレートします。(c) ベンチマーク「GRBench」は、様々なロボットをサポートしますが、主なエージェントとして脚式ロボットに焦点を当て、オブジェクト移動ナビゲーション、社会的移動ナビゲーション、移動操作といった中程度に挑戦的なタスクを提供します。本研究が、この分野における高品質データの不足を緩和し、Embodied AI研究のより包括的な評価を提供することを期待しています。本プロジェクトはhttps://github.com/OpenRobotLab/GRUtopiaで公開されています。

English

Recent works have been exploring the scaling laws in the field of Embodied AI. Given the prohibitive costs of collecting real-world data, we believe the Simulation-to-Real (Sim2Real) paradigm is a crucial step for scaling the learning of embodied models. This paper introduces project GRUtopia, the first simulated interactive 3D society designed for various robots. It features several advancements: (a) The scene dataset, GRScenes, includes 100k interactive, finely annotated scenes, which can be freely combined into city-scale environments. In contrast to previous works mainly focusing on home, GRScenes covers 89 diverse scene categories, bridging the gap of service-oriented environments where general robots would be initially deployed. (b) GRResidents, a Large Language Model (LLM) driven Non-Player Character (NPC) system that is responsible for social interaction, task generation, and task assignment, thus simulating social scenarios for embodied AI applications. (c) The benchmark, GRBench, supports various robots but focuses on legged robots as primary agents and poses moderately challenging tasks involving Object Loco-Navigation, Social Loco-Navigation, and Loco-Manipulation. We hope that this work can alleviate the scarcity of high-quality data in this field and provide a more comprehensive assessment of Embodied AI research. The project is available at https://github.com/OpenRobotLab/GRUtopia.