Habitat 3.0: Een Co-Habitat voor Mensen, Avatars en Robots

Habitat 3.0: A Co-Habitat for Humans, Avatars and Robots

October 19, 2023

Auteurs: Xavier Puig, Eric Undersander, Andrew Szot, Mikael Dallaire Cote, Tsung-Yen Yang, Ruslan Partsey, Ruta Desai, Alexander William Clegg, Michal Hlavac, So Yeon Min, Vladimír Vondruš, Theophile Gervet, Vincent-Pierre Berges, John M. Turner, Oleksandr Maksymets, Zsolt Kira, Mrinal Kalakrishnan, Jitendra Malik, Devendra Singh Chaplot, Unnat Jain, Dhruv Batra, Akshara Rai, Roozbeh Mottaghi

cs.AI

Samenvatting

We presenteren Habitat 3.0: een simulatieplatform voor het bestuderen van collaboratieve mens-robot taken in thuissituaties. Habitat 3.0 biedt bijdragen op drie dimensies: (1) Nauwkeurige humanoïde simulatie: het aanpakken van uitdagingen in het modelleren van complexe vervormbare lichamen en diversiteit in uiterlijk en beweging, terwijl een hoge simulatietijd wordt gegarandeerd. (2) Human-in-the-loop infrastructuur: het mogelijk maken van echte menselijke interactie met gesimuleerde robots via muis/toetsenbord of een VR-interface, wat de evaluatie van robotbeleid met menselijke input vergemakkelijkt. (3) Collaboratieve taken: het bestuderen van twee collaboratieve taken, Sociale Navigatie en Sociale Herindeling. Sociale Navigatie onderzoekt het vermogen van een robot om humanoïde avatars te lokaliseren en te volgen in onbekende omgevingen, terwijl Sociale Herindeling de samenwerking tussen een humanoïde en een robot behandelt tijdens het herindelen van een scène. Deze bijdragen stellen ons in staat om end-to-end geleerde en heuristische basislijnen voor mens-robot samenwerking diepgaand te bestuderen, evenals deze te evalueren met mensen in de loop. Onze experimenten tonen aan dat geleerde robotbeleid leidt tot efficiënte taakvoltooiing bij samenwerking met onbekende humanoïde agenten en menselijke partners die gedrag kunnen vertonen dat de robot nog niet eerder heeft gezien. Daarnaast observeren we emergent gedrag tijdens de uitvoering van collaboratieve taken, zoals de robot die ruimte vrijgeeft wanneer deze een humanoïde agent belemmert, waardoor de effectieve voltooiing van de taak door de humanoïde agent mogelijk wordt. Bovendien tonen onze experimenten met het human-in-the-loop hulpmiddel aan dat onze geautomatiseerde evaluatie met humanoïden een indicatie kan geven van de relatieve ordening van verschillende beleidslijnen wanneer deze worden geëvalueerd met echte menselijke samenwerkers. Habitat 3.0 ontsluit interessante nieuwe functies in simulatoren voor Embodied AI, en we hopen dat het de weg vrijmaakt voor een nieuw tijdperk van belichaamde mens-AI interactiemogelijkheden.

English

We present Habitat 3.0: a simulation platform for studying collaborative human-robot tasks in home environments. Habitat 3.0 offers contributions across three dimensions: (1) Accurate humanoid simulation: addressing challenges in modeling complex deformable bodies and diversity in appearance and motion, all while ensuring high simulation speed. (2) Human-in-the-loop infrastructure: enabling real human interaction with simulated robots via mouse/keyboard or a VR interface, facilitating evaluation of robot policies with human input. (3) Collaborative tasks: studying two collaborative tasks, Social Navigation and Social Rearrangement. Social Navigation investigates a robot's ability to locate and follow humanoid avatars in unseen environments, whereas Social Rearrangement addresses collaboration between a humanoid and robot while rearranging a scene. These contributions allow us to study end-to-end learned and heuristic baselines for human-robot collaboration in-depth, as well as evaluate them with humans in the loop. Our experiments demonstrate that learned robot policies lead to efficient task completion when collaborating with unseen humanoid agents and human partners that might exhibit behaviors that the robot has not seen before. Additionally, we observe emergent behaviors during collaborative task execution, such as the robot yielding space when obstructing a humanoid agent, thereby allowing the effective completion of the task by the humanoid agent. Furthermore, our experiments using the human-in-the-loop tool demonstrate that our automated evaluation with humanoids can provide an indication of the relative ordering of different policies when evaluated with real human collaborators. Habitat 3.0 unlocks interesting new features in simulators for Embodied AI, and we hope it paves the way for a new frontier of embodied human-AI interaction capabilities.