Habitat 3.0: Ein Co-Habitat für Menschen, Avatare und Roboter

Habitat 3.0: A Co-Habitat for Humans, Avatars and Robots

October 19, 2023

Autoren: Xavier Puig, Eric Undersander, Andrew Szot, Mikael Dallaire Cote, Tsung-Yen Yang, Ruslan Partsey, Ruta Desai, Alexander William Clegg, Michal Hlavac, So Yeon Min, Vladimír Vondruš, Theophile Gervet, Vincent-Pierre Berges, John M. Turner, Oleksandr Maksymets, Zsolt Kira, Mrinal Kalakrishnan, Jitendra Malik, Devendra Singh Chaplot, Unnat Jain, Dhruv Batra, Akshara Rai, Roozbeh Mottaghi

cs.AI

Zusammenfassung

Wir präsentieren Habitat 3.0: eine Simulationsplattform zur Erforschung von kollaborativen Mensch-Roboter-Aufgaben in häuslichen Umgebungen. Habitat 3.0 bietet Beiträge in drei Dimensionen: (1) Präzise humanoide Simulation: Bewältigung der Herausforderungen bei der Modellierung komplexer deformierbarer Körper sowie der Vielfalt in Aussehen und Bewegung, bei gleichzeitiger Gewährleistung einer hohen Simulationsgeschwindigkeit. (2) Human-in-the-loop-Infrastruktur: Ermöglicht die Interaktion echter Menschen mit simulierten Robotern über Maus/Tastatur oder eine VR-Schnittstelle, was die Bewertung von Roboterverhaltensstrategien mit menschlichem Input erleichtert. (3) Kollaborative Aufgaben: Untersuchung von zwei kollaborativen Aufgaben, Social Navigation und Social Rearrangement. Social Navigation erforscht die Fähigkeit eines Roboters, humanoide Avatare in unbekannten Umgebungen zu lokalisieren und zu verfolgen, während Social Rearrangement die Zusammenarbeit zwischen einem humanoiden Avatar und einem Roboter bei der Umgestaltung einer Szene behandelt. Diese Beiträge ermöglichen es uns, end-to-end gelernte und heuristische Baselines für die Mensch-Roboter-Kollaboration eingehend zu untersuchen sowie sie mit Menschen in der Schleife zu bewerten. Unsere Experimente zeigen, dass gelernte Roboterverhaltensstrategien zu einer effizienten Aufgabenbewältigung führen, wenn sie mit unbekannten humanoiden Agenten und menschlichen Partnern zusammenarbeiten, die möglicherweise Verhaltensweisen zeigen, die der Roboter zuvor nicht gesehen hat. Zudem beobachten wir emergente Verhaltensweisen während der kollaborativen Aufgabenausführung, wie etwa, dass der Roboter Platz macht, wenn er einen humanoiden Agenten behindert, wodurch der humanoide Agent die Aufgabe effektiv abschließen kann. Darüber hinaus zeigen unsere Experimente mit dem Human-in-the-loop-Tool, dass unsere automatisierte Bewertung mit humanoiden Agenten eine Indikation für die relative Reihenfolge verschiedener Strategien liefern kann, wenn sie mit echten menschlichen Kollaboratoren bewertet werden. Habitat 3.0 erschließt interessante neue Funktionen in Simulatoren für Embodied AI, und wir hoffen, dass es den Weg für eine neue Ära von verkörperten Mensch-KI-Interaktionsfähigkeiten ebnet.

English

We present Habitat 3.0: a simulation platform for studying collaborative human-robot tasks in home environments. Habitat 3.0 offers contributions across three dimensions: (1) Accurate humanoid simulation: addressing challenges in modeling complex deformable bodies and diversity in appearance and motion, all while ensuring high simulation speed. (2) Human-in-the-loop infrastructure: enabling real human interaction with simulated robots via mouse/keyboard or a VR interface, facilitating evaluation of robot policies with human input. (3) Collaborative tasks: studying two collaborative tasks, Social Navigation and Social Rearrangement. Social Navigation investigates a robot's ability to locate and follow humanoid avatars in unseen environments, whereas Social Rearrangement addresses collaboration between a humanoid and robot while rearranging a scene. These contributions allow us to study end-to-end learned and heuristic baselines for human-robot collaboration in-depth, as well as evaluate them with humans in the loop. Our experiments demonstrate that learned robot policies lead to efficient task completion when collaborating with unseen humanoid agents and human partners that might exhibit behaviors that the robot has not seen before. Additionally, we observe emergent behaviors during collaborative task execution, such as the robot yielding space when obstructing a humanoid agent, thereby allowing the effective completion of the task by the humanoid agent. Furthermore, our experiments using the human-in-the-loop tool demonstrate that our automated evaluation with humanoids can provide an indication of the relative ordering of different policies when evaluated with real human collaborators. Habitat 3.0 unlocks interesting new features in simulators for Embodied AI, and we hope it paves the way for a new frontier of embodied human-AI interaction capabilities.