Habitat 3.0: 인간, 아바타, 로봇을 위한 공동 서식지

초록

우리는 가정 환경에서의 인간-로봇 협업 과제 연구를 위한 시뮬레이션 플랫폼인 Habitat 3.0을 소개합니다. Habitat 3.0은 세 가지 주요 측면에서 기여를 제공합니다: (1) 정확한 휴머노이드 시뮬레이션: 복잡한 변형 가능한 신체와 외형 및 동작의 다양성을 모델링하는 데 있어 어려움을 해결하면서도 높은 시뮬레이션 속도를 보장합니다. (2) 인간-참여형(Human-in-the-loop) 인프라: 마우스/키보드 또는 VR 인터페이스를 통해 실제 인간이 시뮬레이션된 로봇과 상호작용할 수 있게 하여, 인간의 입력을 포함한 로봇 정책 평가를 가능하게 합니다. (3) 협업 과제: 두 가지 협업 과제인 소셜 네비게이션(Social Navigation)과 소셜 재배치(Social Rearrangement)를 연구합니다. 소셜 네비게이션은 로봇이 미지의 환경에서 휴머노이드 아바타를 찾아 따라가는 능력을 조사하며, 소셜 재배치는 휴머노이드와 로봇이 장면을 재배치하는 과정에서의 협업을 다룹니다. 이러한 기여를 통해 우리는 인간-로봇 협업을 위한 종단간 학습 및 휴리스틱 기반선을 심층적으로 연구하고, 인간이 참여한 상태에서 이를 평가할 수 있습니다. 우리의 실험은 학습된 로봇 정책이 이전에 보지 못한 휴머노이드 에이전트 및 인간 파트너와 협업할 때 효율적인 과제 완료를 이끌어냄을 보여줍니다. 또한, 협업 과제 실행 중에 로봇이 휴머노이드 에이전트를 방해할 때 공간을 양보하는 등의 새로운 행동이 나타남을 관찰했습니다. 이는 휴머노이드 에이전트가 과제를 효과적으로 완료할 수 있도록 돕습니다. 더 나아가, 인간-참여형 도구를 사용한 실험은 휴머노이드와의 자동화된 평가가 실제 인간 협업자와 평가할 때 다양한 정책의 상대적 순서를 예측할 수 있음을 보여줍니다. Habitat 3.0은 구현된 AI(Embodied AI) 시뮬레이터에 흥미로운 새로운 기능을 제공하며, 우리는 이를 통해 구현된 인간-AI 상호작용 능력의 새로운 지평을 열기를 기대합니다.

English

We present Habitat 3.0: a simulation platform for studying collaborative human-robot tasks in home environments. Habitat 3.0 offers contributions across three dimensions: (1) Accurate humanoid simulation: addressing challenges in modeling complex deformable bodies and diversity in appearance and motion, all while ensuring high simulation speed. (2) Human-in-the-loop infrastructure: enabling real human interaction with simulated robots via mouse/keyboard or a VR interface, facilitating evaluation of robot policies with human input. (3) Collaborative tasks: studying two collaborative tasks, Social Navigation and Social Rearrangement. Social Navigation investigates a robot's ability to locate and follow humanoid avatars in unseen environments, whereas Social Rearrangement addresses collaboration between a humanoid and robot while rearranging a scene. These contributions allow us to study end-to-end learned and heuristic baselines for human-robot collaboration in-depth, as well as evaluate them with humans in the loop. Our experiments demonstrate that learned robot policies lead to efficient task completion when collaborating with unseen humanoid agents and human partners that might exhibit behaviors that the robot has not seen before. Additionally, we observe emergent behaviors during collaborative task execution, such as the robot yielding space when obstructing a humanoid agent, thereby allowing the effective completion of the task by the humanoid agent. Furthermore, our experiments using the human-in-the-loop tool demonstrate that our automated evaluation with humanoids can provide an indication of the relative ordering of different policies when evaluated with real human collaborators. Habitat 3.0 unlocks interesting new features in simulators for Embodied AI, and we hope it paves the way for a new frontier of embodied human-AI interaction capabilities.

Habitat 3.0: 인간, 아바타, 로봇을 위한 공동 서식지

Habitat 3.0: A Co-Habitat for Humans, Avatars and Robots

초록

Support