Habitat 3.0: Um Co-Habitat para Humanos, Avatares e Robôs

Habitat 3.0: A Co-Habitat for Humans, Avatars and Robots

October 19, 2023

Autores: Xavier Puig, Eric Undersander, Andrew Szot, Mikael Dallaire Cote, Tsung-Yen Yang, Ruslan Partsey, Ruta Desai, Alexander William Clegg, Michal Hlavac, So Yeon Min, Vladimír Vondruš, Theophile Gervet, Vincent-Pierre Berges, John M. Turner, Oleksandr Maksymets, Zsolt Kira, Mrinal Kalakrishnan, Jitendra Malik, Devendra Singh Chaplot, Unnat Jain, Dhruv Batra, Akshara Rai, Roozbeh Mottaghi

cs.AI

Resumo

Apresentamos o Habitat 3.0: uma plataforma de simulação para o estudo de tarefas colaborativas entre humanos e robôs em ambientes domésticos. O Habitat 3.0 oferece contribuições em três dimensões: (1) Simulação precisa de humanoides: abordando desafios na modelagem de corpos deformáveis complexos e na diversidade de aparência e movimento, tudo isso mantendo uma alta velocidade de simulação. (2) Infraestrutura de humano no loop: permitindo a interação de humanos reais com robôs simulados por meio de mouse/teclado ou uma interface de realidade virtual, facilitando a avaliação de políticas robóticas com entrada humana. (3) Tarefas colaborativas: estudo de duas tarefas colaborativas, Navegação Social e Rearranjo Social. A Navegação Social investiga a capacidade de um robô de localizar e seguir avatares humanoides em ambientes desconhecidos, enquanto o Rearranjo Social aborda a colaboração entre um humanoide e um robô durante o rearranjo de uma cena. Essas contribuições nos permitem estudar em profundidade baselines aprendidos de ponta a ponta e heurísticos para colaboração humano-robô, bem como avaliá-los com humanos no loop. Nossos experimentos demonstram que políticas robóticas aprendidas levam à conclusão eficiente de tarefas ao colaborar com agentes humanoides desconhecidos e parceiros humanos que podem exibir comportamentos que o robô nunca viu antes. Além disso, observamos comportamentos emergentes durante a execução de tarefas colaborativas, como o robô cedendo espaço ao obstruir um agente humanoide, permitindo assim a conclusão eficaz da tarefa pelo agente humanoide. Adicionalmente, nossos experimentos utilizando a ferramenta de humano no loop demonstram que nossa avaliação automatizada com humanoides pode fornecer uma indicação da ordem relativa de diferentes políticas quando avaliadas com colaboradores humanos reais. O Habitat 3.0 desbloqueia novos recursos interessantes em simuladores para IA Embarcada, e esperamos que ele abra caminho para uma nova fronteira de capacidades de interação humano-IA embarcada.

English

We present Habitat 3.0: a simulation platform for studying collaborative human-robot tasks in home environments. Habitat 3.0 offers contributions across three dimensions: (1) Accurate humanoid simulation: addressing challenges in modeling complex deformable bodies and diversity in appearance and motion, all while ensuring high simulation speed. (2) Human-in-the-loop infrastructure: enabling real human interaction with simulated robots via mouse/keyboard or a VR interface, facilitating evaluation of robot policies with human input. (3) Collaborative tasks: studying two collaborative tasks, Social Navigation and Social Rearrangement. Social Navigation investigates a robot's ability to locate and follow humanoid avatars in unseen environments, whereas Social Rearrangement addresses collaboration between a humanoid and robot while rearranging a scene. These contributions allow us to study end-to-end learned and heuristic baselines for human-robot collaboration in-depth, as well as evaluate them with humans in the loop. Our experiments demonstrate that learned robot policies lead to efficient task completion when collaborating with unseen humanoid agents and human partners that might exhibit behaviors that the robot has not seen before. Additionally, we observe emergent behaviors during collaborative task execution, such as the robot yielding space when obstructing a humanoid agent, thereby allowing the effective completion of the task by the humanoid agent. Furthermore, our experiments using the human-in-the-loop tool demonstrate that our automated evaluation with humanoids can provide an indication of the relative ordering of different policies when evaluated with real human collaborators. Habitat 3.0 unlocks interesting new features in simulators for Embodied AI, and we hope it paves the way for a new frontier of embodied human-AI interaction capabilities.