CANVAS: Alledaagsbewuste Navigatiesysteem voor Intuïtieve Mens-Robot Interactie

CANVAS: Commonsense-Aware Navigation System for Intuitive Human-Robot Interaction

October 2, 2024

Auteurs: Suhwan Choi, Yongjun Cho, Minchan Kim, Jaeyoon Jung, Myunchul Joe, Yubeen Park, Minseo Kim, Sungwoong Kim, Sungjae Lee, Hwiseong Park, Jiwan Chung, Youngjae Yu

cs.AI

Samenvatting

Het navigeren van robots in het echte leven omvat meer dan alleen het bereiken van een bestemming; het vereist het optimaliseren van bewegingen terwijl specifieke doelen van de situatie worden aangepakt. Een intuïtieve manier voor mensen om deze doelen uit te drukken is via abstracte aanwijzingen zoals verbale commando's of ruwe schetsen. Dergelijke menselijke begeleiding kan details missen of ruis bevatten. Desalniettemin verwachten we dat robots navigeren zoals bedoeld. Om abstracte instructies te interpreteren en uit te voeren in lijn met menselijke verwachtingen, moeten ze een gemeenschappelijk begrip hebben van basisnavigatieconcepten met mensen. Met dit doel introduceren we CANVAS, een nieuw raamwerk dat visuele en linguïstische instructies combineert voor navigatie met gezond verstand. Het succes ervan wordt aangedreven door imitatieleren, waardoor de robot kan leren van het navigatiegedrag van mensen. We presenteren COMMAND, een uitgebreide dataset met door mensen geannoteerde navigatieresultaten, die zich uitstrekken over 48 uur en 219 km, ontworpen om navigatiesystemen met gezond verstand te trainen in gesimuleerde omgevingen. Onze experimenten tonen aan dat CANVAS beter presteert dan het sterke op regels gebaseerde systeem ROS NavStack in alle omgevingen, met superieure prestaties bij ruisige instructies. Opmerkelijk is dat in de boomgaardomgeving, waar ROS NavStack een totaal succespercentage van 0% behaalt, CANVAS een totaal succespercentage van 67% behaalt. CANVAS sluit ook nauw aan bij menselijke demonstraties en gezond verstand beperkingen, zelfs in onbekende omgevingen. Bovendien toont de implementatie van CANVAS in de echte wereld een indrukwekkende Sim2Real-overdracht met een totaal succespercentage van 69%, waarbij het potentieel van leren van menselijke demonstraties in gesimuleerde omgevingen voor toepassingen in de echte wereld wordt benadrukt.

English

Real-life robot navigation involves more than just reaching a destination; it requires optimizing movements while addressing scenario-specific goals. An intuitive way for humans to express these goals is through abstract cues like verbal commands or rough sketches. Such human guidance may lack details or be noisy. Nonetheless, we expect robots to navigate as intended. For robots to interpret and execute these abstract instructions in line with human expectations, they must share a common understanding of basic navigation concepts with humans. To this end, we introduce CANVAS, a novel framework that combines visual and linguistic instructions for commonsense-aware navigation. Its success is driven by imitation learning, enabling the robot to learn from human navigation behavior. We present COMMAND, a comprehensive dataset with human-annotated navigation results, spanning over 48 hours and 219 km, designed to train commonsense-aware navigation systems in simulated environments. Our experiments show that CANVAS outperforms the strong rule-based system ROS NavStack across all environments, demonstrating superior performance with noisy instructions. Notably, in the orchard environment, where ROS NavStack records a 0% total success rate, CANVAS achieves a total success rate of 67%. CANVAS also closely aligns with human demonstrations and commonsense constraints, even in unseen environments. Furthermore, real-world deployment of CANVAS showcases impressive Sim2Real transfer with a total success rate of 69%, highlighting the potential of learning from human demonstrations in simulated environments for real-world applications.