CANVAS : Système de navigation conscient du bon sens pour une interaction humain-robot intuitive

CANVAS: Commonsense-Aware Navigation System for Intuitive Human-Robot Interaction

October 2, 2024

Auteurs: Suhwan Choi, Yongjun Cho, Minchan Kim, Jaeyoon Jung, Myunchul Joe, Yubeen Park, Minseo Kim, Sungwoong Kim, Sungjae Lee, Hwiseong Park, Jiwan Chung, Youngjae Yu

cs.AI

Résumé

La navigation de robots en situation réelle implique plus que simplement atteindre une destination ; elle nécessite d'optimiser les déplacements tout en tenant compte des objectifs spécifiques à chaque scénario. Une manière intuitive pour les humains d'exprimer ces objectifs est à travers des indices abstraits tels que des commandes verbales ou des croquis approximatifs. Une telle guidance humaine peut manquer de détails ou être bruyante. Néanmoins, nous attendons des robots qu'ils naviguent comme prévu. Pour que les robots interprètent et exécutent ces instructions abstraites conformément aux attentes humaines, ils doivent partager une compréhension commune des concepts de base de navigation avec les humains. À cette fin, nous introduisons CANVAS, un nouveau cadre qui combine des instructions visuelles et linguistiques pour une navigation consciente du bon sens. Son succès est basé sur l'apprentissage par imitation, permettant au robot d'apprendre du comportement de navigation humain. Nous présentons COMMAND, un ensemble de données complet avec des résultats de navigation annotés par des humains, couvrant plus de 48 heures et 219 km, conçu pour entraîner des systèmes de navigation conscients du bon sens dans des environnements simulés. Nos expériences montrent que CANVAS surpasse le système basé sur des règles solides ROS NavStack dans tous les environnements, démontrant des performances supérieures avec des instructions bruyantes. Notamment, dans l'environnement de verger, où ROS NavStack enregistre un taux de réussite total de 0 %, CANVAS atteint un taux de réussite total de 67 %. CANVAS est également étroitement aligné avec les démonstrations humaines et les contraintes du bon sens, même dans des environnements inconnus. De plus, le déploiement réel de CANVAS met en avant une impressionnante transférabilité de Sim2Real avec un taux de réussite total de 69 %, soulignant le potentiel de l'apprentissage à partir des démonstrations humaines dans des environnements simulés pour des applications réelles.

English

Real-life robot navigation involves more than just reaching a destination; it requires optimizing movements while addressing scenario-specific goals. An intuitive way for humans to express these goals is through abstract cues like verbal commands or rough sketches. Such human guidance may lack details or be noisy. Nonetheless, we expect robots to navigate as intended. For robots to interpret and execute these abstract instructions in line with human expectations, they must share a common understanding of basic navigation concepts with humans. To this end, we introduce CANVAS, a novel framework that combines visual and linguistic instructions for commonsense-aware navigation. Its success is driven by imitation learning, enabling the robot to learn from human navigation behavior. We present COMMAND, a comprehensive dataset with human-annotated navigation results, spanning over 48 hours and 219 km, designed to train commonsense-aware navigation systems in simulated environments. Our experiments show that CANVAS outperforms the strong rule-based system ROS NavStack across all environments, demonstrating superior performance with noisy instructions. Notably, in the orchard environment, where ROS NavStack records a 0% total success rate, CANVAS achieves a total success rate of 67%. CANVAS also closely aligns with human demonstrations and commonsense constraints, even in unseen environments. Furthermore, real-world deployment of CANVAS showcases impressive Sim2Real transfer with a total success rate of 69%, highlighting the potential of learning from human demonstrations in simulated environments for real-world applications.