CANVAS: Sistema de Navegación Consciente del Sentido Común para Interacción Intuitiva Humano-Robot

CANVAS: Commonsense-Aware Navigation System for Intuitive Human-Robot Interaction

October 2, 2024

Autores: Suhwan Choi, Yongjun Cho, Minchan Kim, Jaeyoon Jung, Myunchul Joe, Yubeen Park, Minseo Kim, Sungwoong Kim, Sungjae Lee, Hwiseong Park, Jiwan Chung, Youngjae Yu

cs.AI

Resumen

La navegación de robots en la vida real implica más que simplemente llegar a un destino; requiere optimizar los movimientos mientras se abordan objetivos específicos del escenario. Una forma intuitiva para que los humanos expresen estos objetivos es a través de indicaciones abstractas como comandos verbales o bocetos aproximados. Esta guía humana puede carecer de detalles o ser ruidosa. No obstante, esperamos que los robots naveguen según lo previsto. Para que los robots interpreten y ejecuten estas instrucciones abstractas de acuerdo con las expectativas humanas, deben compartir una comprensión común de conceptos básicos de navegación con los humanos. Con este fin, presentamos CANVAS, un nuevo marco que combina instrucciones visuales y lingüísticas para la navegación con conciencia del sentido común. Su éxito se basa en el aprendizaje por imitación, lo que permite al robot aprender del comportamiento de navegación humano. Presentamos COMMAND, un conjunto de datos exhaustivo con resultados de navegación anotados por humanos, abarcando más de 48 horas y 219 km, diseñado para entrenar sistemas de navegación con conciencia del sentido común en entornos simulados. Nuestros experimentos muestran que CANVAS supera al sólido sistema basado en reglas ROS NavStack en todos los entornos, demostrando un rendimiento superior con instrucciones ruidosas. Especialmente, en el entorno de huertos, donde ROS NavStack registra una tasa de éxito total del 0%, CANVAS logra una tasa de éxito total del 67%. CANVAS también se alinea estrechamente con las demostraciones humanas y las restricciones del sentido común, incluso en entornos no vistos. Además, la implementación del mundo real de CANVAS muestra una impresionante transferencia de Sim2Real con una tasa de éxito total del 69%, resaltando el potencial de aprender de las demostraciones humanas en entornos simulados para aplicaciones del mundo real.

English

Real-life robot navigation involves more than just reaching a destination; it requires optimizing movements while addressing scenario-specific goals. An intuitive way for humans to express these goals is through abstract cues like verbal commands or rough sketches. Such human guidance may lack details or be noisy. Nonetheless, we expect robots to navigate as intended. For robots to interpret and execute these abstract instructions in line with human expectations, they must share a common understanding of basic navigation concepts with humans. To this end, we introduce CANVAS, a novel framework that combines visual and linguistic instructions for commonsense-aware navigation. Its success is driven by imitation learning, enabling the robot to learn from human navigation behavior. We present COMMAND, a comprehensive dataset with human-annotated navigation results, spanning over 48 hours and 219 km, designed to train commonsense-aware navigation systems in simulated environments. Our experiments show that CANVAS outperforms the strong rule-based system ROS NavStack across all environments, demonstrating superior performance with noisy instructions. Notably, in the orchard environment, where ROS NavStack records a 0% total success rate, CANVAS achieves a total success rate of 67%. CANVAS also closely aligns with human demonstrations and commonsense constraints, even in unseen environments. Furthermore, real-world deployment of CANVAS showcases impressive Sim2Real transfer with a total success rate of 69%, highlighting the potential of learning from human demonstrations in simulated environments for real-world applications.