Habitat 3.0: 人間、アバター、ロボットの共棲空間

要旨

Habitat 3.0を紹介します。これは、家庭環境における人間とロボットの協調タスクを研究するためのシミュレーションプラットフォームです。Habitat 3.0は、以下の3つの次元で貢献を提供します。(1) 正確なヒューマノイドシミュレーション：複雑な変形可能な身体や外観・動作の多様性をモデル化する課題に対処しつつ、高いシミュレーション速度を確保します。(2) 人間をループに組み込んだインフラストラクチャー：マウス/キーボードまたはVRインターフェースを介して、実在の人間がシミュレーションされたロボットと対話できるようにし、人間の入力によるロボットポリシーの評価を容易にします。(3) 協調タスク：2つの協調タスク、Social NavigationとSocial Rearrangementを研究します。Social Navigationは、未知の環境でヒューマノイドアバターを見つけて追従するロボットの能力を調査し、Social Rearrangementは、シーンを再配置する際のヒューマノイドとロボットの協力を扱います。これらの貢献により、人間とロボットの協力に関するエンドツーエンド学習ベースラインとヒューリスティックベースラインを詳細に研究し、人間をループに組み込んで評価することが可能になります。私たちの実験では、学習されたロボットポリシーが、未知のヒューマノイドエージェントや、ロボットが以前に見たことのない行動を示す可能性のある人間パートナーと協力する際に、効率的なタスク完了をもたらすことが示されています。さらに、協調タスク実行中に、ロボットがヒューマノイドエージェントの進行を妨げている場合にスペースを譲るといった創発的な行動が観察され、これによりヒューマノイドエージェントがタスクを効果的に完了できるようになります。また、人間をループに組み込んだツールを使用した実験では、ヒューマノイドを用いた自動評価が、実在の人間との協力で評価された際の異なるポリシーの相対的な順序を示すことができることが実証されています。Habitat 3.0は、Embodied AIのシミュレーターに新たな興味深い機能を提供し、人間とAIの具現化された相互作用能力の新たなフロンティアを切り開くことを期待しています。

English

We present Habitat 3.0: a simulation platform for studying collaborative human-robot tasks in home environments. Habitat 3.0 offers contributions across three dimensions: (1) Accurate humanoid simulation: addressing challenges in modeling complex deformable bodies and diversity in appearance and motion, all while ensuring high simulation speed. (2) Human-in-the-loop infrastructure: enabling real human interaction with simulated robots via mouse/keyboard or a VR interface, facilitating evaluation of robot policies with human input. (3) Collaborative tasks: studying two collaborative tasks, Social Navigation and Social Rearrangement. Social Navigation investigates a robot's ability to locate and follow humanoid avatars in unseen environments, whereas Social Rearrangement addresses collaboration between a humanoid and robot while rearranging a scene. These contributions allow us to study end-to-end learned and heuristic baselines for human-robot collaboration in-depth, as well as evaluate them with humans in the loop. Our experiments demonstrate that learned robot policies lead to efficient task completion when collaborating with unseen humanoid agents and human partners that might exhibit behaviors that the robot has not seen before. Additionally, we observe emergent behaviors during collaborative task execution, such as the robot yielding space when obstructing a humanoid agent, thereby allowing the effective completion of the task by the humanoid agent. Furthermore, our experiments using the human-in-the-loop tool demonstrate that our automated evaluation with humanoids can provide an indication of the relative ordering of different policies when evaluated with real human collaborators. Habitat 3.0 unlocks interesting new features in simulators for Embodied AI, and we hope it paves the way for a new frontier of embodied human-AI interaction capabilities.

Habitat 3.0: 人間、アバター、ロボットの共棲空間

Habitat 3.0: A Co-Habitat for Humans, Avatars and Robots

要旨

Support