Habitat 3.0 : Un Co-Habitat pour les Humains, les Avatars et les Robots

Habitat 3.0: A Co-Habitat for Humans, Avatars and Robots

October 19, 2023

Auteurs: Xavier Puig, Eric Undersander, Andrew Szot, Mikael Dallaire Cote, Tsung-Yen Yang, Ruslan Partsey, Ruta Desai, Alexander William Clegg, Michal Hlavac, So Yeon Min, Vladimír Vondruš, Theophile Gervet, Vincent-Pierre Berges, John M. Turner, Oleksandr Maksymets, Zsolt Kira, Mrinal Kalakrishnan, Jitendra Malik, Devendra Singh Chaplot, Unnat Jain, Dhruv Batra, Akshara Rai, Roozbeh Mottaghi

cs.AI

Résumé

Nous présentons Habitat 3.0 : une plateforme de simulation pour étudier les tâches collaboratives entre humains et robots dans des environnements domestiques. Habitat 3.0 apporte des contributions dans trois dimensions : (1) Simulation précise d'humanoïdes : résolution des défis liés à la modélisation de corps déformables complexes et à la diversité des apparences et des mouvements, tout en garantissant une vitesse de simulation élevée. (2) Infrastructure humaine dans la boucle : permettant une interaction en temps réel entre des humains et des robots simulés via une souris/clavier ou une interface VR, facilitant l'évaluation des politiques robotiques avec des entrées humaines. (3) Tâches collaboratives : étude de deux tâches collaboratives, la Navigation Sociale et le Réarrangement Social. La Navigation Sociale explore la capacité d'un robot à localiser et suivre des avatars humanoïdes dans des environnements inconnus, tandis que le Réarrangement Social aborde la collaboration entre un humanoïde et un robot lors du réaménagement d'une scène. Ces contributions nous permettent d'étudier en profondeur des approches basées sur l'apprentissage end-to-end et des heuristiques pour la collaboration humain-robot, ainsi que de les évaluer avec des humains dans la boucle. Nos expériences démontrent que les politiques robotiques apprises permettent une exécution efficace des tâches lors de la collaboration avec des agents humanoïdes inconnus et des partenaires humains pouvant présenter des comportements que le robot n'a jamais rencontrés auparavant. De plus, nous observons des comportements émergents lors de l'exécution de tâches collaboratives, comme un robot cédant de l'espace lorsqu'il bloque un agent humanoïde, permettant ainsi à ce dernier de terminer efficacement la tâche. Par ailleurs, nos expériences utilisant l'outil humain dans la boucle montrent que notre évaluation automatisée avec des humanoïdes peut fournir une indication de l'ordre relatif des différentes politiques lorsqu'elles sont évaluées avec de véritables collaborateurs humains. Habitat 3.0 débloque de nouvelles fonctionnalités intéressantes dans les simulateurs pour l'IA incarnée, et nous espérons qu'il ouvre la voie à une nouvelle frontière de capacités d'interaction entre humains et IA incarnée.

English

We present Habitat 3.0: a simulation platform for studying collaborative human-robot tasks in home environments. Habitat 3.0 offers contributions across three dimensions: (1) Accurate humanoid simulation: addressing challenges in modeling complex deformable bodies and diversity in appearance and motion, all while ensuring high simulation speed. (2) Human-in-the-loop infrastructure: enabling real human interaction with simulated robots via mouse/keyboard or a VR interface, facilitating evaluation of robot policies with human input. (3) Collaborative tasks: studying two collaborative tasks, Social Navigation and Social Rearrangement. Social Navigation investigates a robot's ability to locate and follow humanoid avatars in unseen environments, whereas Social Rearrangement addresses collaboration between a humanoid and robot while rearranging a scene. These contributions allow us to study end-to-end learned and heuristic baselines for human-robot collaboration in-depth, as well as evaluate them with humans in the loop. Our experiments demonstrate that learned robot policies lead to efficient task completion when collaborating with unseen humanoid agents and human partners that might exhibit behaviors that the robot has not seen before. Additionally, we observe emergent behaviors during collaborative task execution, such as the robot yielding space when obstructing a humanoid agent, thereby allowing the effective completion of the task by the humanoid agent. Furthermore, our experiments using the human-in-the-loop tool demonstrate that our automated evaluation with humanoids can provide an indication of the relative ordering of different policies when evaluated with real human collaborators. Habitat 3.0 unlocks interesting new features in simulators for Embodied AI, and we hope it paves the way for a new frontier of embodied human-AI interaction capabilities.