Habitat 3.0: Un Co-Hábitat para Humanos, Avatares y Robots

Habitat 3.0: A Co-Habitat for Humans, Avatars and Robots

October 19, 2023

Autores: Xavier Puig, Eric Undersander, Andrew Szot, Mikael Dallaire Cote, Tsung-Yen Yang, Ruslan Partsey, Ruta Desai, Alexander William Clegg, Michal Hlavac, So Yeon Min, Vladimír Vondruš, Theophile Gervet, Vincent-Pierre Berges, John M. Turner, Oleksandr Maksymets, Zsolt Kira, Mrinal Kalakrishnan, Jitendra Malik, Devendra Singh Chaplot, Unnat Jain, Dhruv Batra, Akshara Rai, Roozbeh Mottaghi

cs.AI

Resumen

Presentamos Habitat 3.0: una plataforma de simulación para estudiar tareas colaborativas entre humanos y robots en entornos domésticos. Habitat 3.0 ofrece contribuciones en tres dimensiones: (1) Simulación precisa de humanoides: abordando los desafíos en el modelado de cuerpos deformables complejos y la diversidad en apariencia y movimiento, todo mientras se garantiza una alta velocidad de simulación. (2) Infraestructura de humano-en-el-bucle: permitiendo la interacción en tiempo real de humanos con robots simulados mediante teclado/ratón o una interfaz de realidad virtual, facilitando la evaluación de políticas de robots con entrada humana. (3) Tareas colaborativas: estudiando dos tareas colaborativas, Navegación Social y Reorganización Social. La Navegación Social investiga la capacidad de un robot para localizar y seguir avatares humanoides en entornos no vistos, mientras que la Reorganización Social aborda la colaboración entre un humanoide y un robot al reorganizar una escena. Estas contribuciones nos permiten estudiar en profundidad líneas base aprendidas de extremo a extremo y heurísticas para la colaboración humano-robot, así como evaluarlas con humanos en el bucle. Nuestros experimentos demuestran que las políticas de robots aprendidas conducen a una finalización eficiente de tareas al colaborar con agentes humanoides no vistos y socios humanos que podrían exhibir comportamientos que el robot no ha visto antes. Además, observamos comportamientos emergentes durante la ejecución de tareas colaborativas, como el robot cediendo espacio cuando obstruye a un agente humanoide, permitiendo así la finalización efectiva de la tarea por parte del agente humanoide. Asimismo, nuestros experimentos utilizando la herramienta de humano-en-el-bucle demuestran que nuestra evaluación automatizada con humanoides puede proporcionar una indicación del orden relativo de diferentes políticas cuando se evalúan con colaboradores humanos reales. Habitat 3.0 desbloquea características interesantes en simuladores para IA Embebida, y esperamos que allane el camino para una nueva frontera de capacidades de interacción humano-IA embebida.

English

We present Habitat 3.0: a simulation platform for studying collaborative human-robot tasks in home environments. Habitat 3.0 offers contributions across three dimensions: (1) Accurate humanoid simulation: addressing challenges in modeling complex deformable bodies and diversity in appearance and motion, all while ensuring high simulation speed. (2) Human-in-the-loop infrastructure: enabling real human interaction with simulated robots via mouse/keyboard or a VR interface, facilitating evaluation of robot policies with human input. (3) Collaborative tasks: studying two collaborative tasks, Social Navigation and Social Rearrangement. Social Navigation investigates a robot's ability to locate and follow humanoid avatars in unseen environments, whereas Social Rearrangement addresses collaboration between a humanoid and robot while rearranging a scene. These contributions allow us to study end-to-end learned and heuristic baselines for human-robot collaboration in-depth, as well as evaluate them with humans in the loop. Our experiments demonstrate that learned robot policies lead to efficient task completion when collaborating with unseen humanoid agents and human partners that might exhibit behaviors that the robot has not seen before. Additionally, we observe emergent behaviors during collaborative task execution, such as the robot yielding space when obstructing a humanoid agent, thereby allowing the effective completion of the task by the humanoid agent. Furthermore, our experiments using the human-in-the-loop tool demonstrate that our automated evaluation with humanoids can provide an indication of the relative ordering of different policies when evaluated with real human collaborators. Habitat 3.0 unlocks interesting new features in simulators for Embodied AI, and we hope it paves the way for a new frontier of embodied human-AI interaction capabilities.