Habitat 3.0: Un Co-Habitat per Umani, Avatar e Robot

Habitat 3.0: A Co-Habitat for Humans, Avatars and Robots

October 19, 2023

Autori: Xavier Puig, Eric Undersander, Andrew Szot, Mikael Dallaire Cote, Tsung-Yen Yang, Ruslan Partsey, Ruta Desai, Alexander William Clegg, Michal Hlavac, So Yeon Min, Vladimír Vondruš, Theophile Gervet, Vincent-Pierre Berges, John M. Turner, Oleksandr Maksymets, Zsolt Kira, Mrinal Kalakrishnan, Jitendra Malik, Devendra Singh Chaplot, Unnat Jain, Dhruv Batra, Akshara Rai, Roozbeh Mottaghi

cs.AI

Abstract

Presentiamo Habitat 3.0: una piattaforma di simulazione per lo studio di compiti collaborativi uomo-robot in ambienti domestici. Habitat 3.0 offre contributi in tre dimensioni: (1) Simulazione accurata di umanoidi: affrontando le sfide nella modellazione di corpi deformabili complessi e nella diversità di aspetto e movimento, garantendo al contempo un'elevata velocità di simulazione. (2) Infrastruttura con umano nel ciclo: consentendo l'interazione in tempo reale di esseri umani con robot simulati tramite mouse/tastiera o un'interfaccia VR, facilitando la valutazione delle politiche dei robot con input umano. (3) Compiti collaborativi: studiando due compiti collaborativi, Navigazione Sociale e Riarrangiamento Sociale. La Navigazione Sociale indaga la capacità di un robot di individuare e seguire avatar umanoidi in ambienti non visti, mentre il Riarrangiamento Sociale affronta la collaborazione tra un umanoide e un robot durante il riarrangiamento di una scena. Questi contributi ci permettono di studiare in profondità baseline apprese end-to-end ed euristiche per la collaborazione uomo-robot, nonché di valutarle con esseri umani nel ciclo. I nostri esperimenti dimostrano che le politiche dei robot apprese portano a un completamento efficiente dei compiti quando si collabora con agenti umanoidi non visti e partner umani che potrebbero esibire comportamenti che il robot non ha mai visto prima. Inoltre, osserviamo comportamenti emergenti durante l'esecuzione di compiti collaborativi, come il robot che cede spazio quando ostruisce un agente umanoide, consentendo così il completamento efficace del compito da parte dell'agente umanoide. Inoltre, i nostri esperimenti utilizzando lo strumento con umano nel ciclo dimostrano che la nostra valutazione automatizzata con umanoidi può fornire un'indicazione dell'ordine relativo di diverse politiche quando valutate con collaboratori umani reali. Habitat 3.0 sblocca nuove interessanti funzionalità nei simulatori per l'AI Incarnata, e speriamo che apra la strada a una nuova frontiera di capacità di interazione uomo-AI incarnata.

English

We present Habitat 3.0: a simulation platform for studying collaborative human-robot tasks in home environments. Habitat 3.0 offers contributions across three dimensions: (1) Accurate humanoid simulation: addressing challenges in modeling complex deformable bodies and diversity in appearance and motion, all while ensuring high simulation speed. (2) Human-in-the-loop infrastructure: enabling real human interaction with simulated robots via mouse/keyboard or a VR interface, facilitating evaluation of robot policies with human input. (3) Collaborative tasks: studying two collaborative tasks, Social Navigation and Social Rearrangement. Social Navigation investigates a robot's ability to locate and follow humanoid avatars in unseen environments, whereas Social Rearrangement addresses collaboration between a humanoid and robot while rearranging a scene. These contributions allow us to study end-to-end learned and heuristic baselines for human-robot collaboration in-depth, as well as evaluate them with humans in the loop. Our experiments demonstrate that learned robot policies lead to efficient task completion when collaborating with unseen humanoid agents and human partners that might exhibit behaviors that the robot has not seen before. Additionally, we observe emergent behaviors during collaborative task execution, such as the robot yielding space when obstructing a humanoid agent, thereby allowing the effective completion of the task by the humanoid agent. Furthermore, our experiments using the human-in-the-loop tool demonstrate that our automated evaluation with humanoids can provide an indication of the relative ordering of different policies when evaluated with real human collaborators. Habitat 3.0 unlocks interesting new features in simulators for Embodied AI, and we hope it paves the way for a new frontier of embodied human-AI interaction capabilities.