WildLMa: Lange Horizon Loco-Manipulatie in het Wild

WildLMa: Long Horizon Loco-Manipulation in the Wild

November 22, 2024

Auteurs: Ri-Zhao Qiu, Yuchen Song, Xuanbin Peng, Sai Aneesh Suryadevara, Ge Yang, Minghuan Liu, Mazeyu Ji, Chengzhe Jia, Ruihan Yang, Xueyan Zou, Xiaolong Wang

cs.AI

Samenvatting

'Mobiele manipulatie in het wild' heeft als doel om robots in diverse echte omgevingen in te zetten, wat vereist dat de robot (1) vaardigheden heeft die generaliseren over objectconfiguraties; (2) in staat is tot taakuitvoering op lange termijn in diverse omgevingen; en (3) complexe manipulatie uitvoert die verder gaat dan pakken en plaatsen. Vierbenige robots met manipulatoren bieden mogelijkheden om de werkruimte uit te breiden en robuuste voortbeweging mogelijk te maken, maar bestaande resultaten onderzoeken deze capaciteit niet. Dit artikel stelt WildLMa voor met drie componenten om deze kwesties aan te pakken: (1) aanpassing van een geleerde laag-niveau controller voor VR-geactiveerde volledige lichaamsteleoperatie en begaanbaarheid; (2) WildLMa-Skill - een bibliotheek van generaliseerbare visuomotorische vaardigheden verworven via imitatieleren of heuristieken en (3) WildLMa-Planner - een interface van geleerde vaardigheden die LLM-planners in staat stellen vaardigheden te coördineren voor taken op lange termijn. We tonen het belang van hoogwaardige trainingsgegevens aan door een hoger succespercentage van grijpen te behalen ten opzichte van bestaande RL-baselines met slechts tientallen demonstraties. WildLMa maakt gebruik van CLIP voor taal-geconditioneerd imitatieleren dat empirisch generaliseert naar objecten die niet zijn gezien in trainingsdemonstraties. Naast uitgebreide kwantitatieve evaluatie, demonstreren we kwalitatief praktische toepassingen van robots, zoals het opruimen van afval in universiteitsgangen of buitenomgevingen, het bedienen van gearticuleerde objecten en het herschikken van items op een boekenplank.

English

`In-the-wild' mobile manipulation aims to deploy robots in diverse real-world environments, which requires the robot to (1) have skills that generalize across object configurations; (2) be capable of long-horizon task execution in diverse environments; and (3) perform complex manipulation beyond pick-and-place. Quadruped robots with manipulators hold promise for extending the workspace and enabling robust locomotion, but existing results do not investigate such a capability. This paper proposes WildLMa with three components to address these issues: (1) adaptation of learned low-level controller for VR-enabled whole-body teleoperation and traversability; (2) WildLMa-Skill -- a library of generalizable visuomotor skills acquired via imitation learning or heuristics and (3) WildLMa-Planner -- an interface of learned skills that allow LLM planners to coordinate skills for long-horizon tasks. We demonstrate the importance of high-quality training data by achieving higher grasping success rate over existing RL baselines using only tens of demonstrations. WildLMa exploits CLIP for language-conditioned imitation learning that empirically generalizes to objects unseen in training demonstrations. Besides extensive quantitative evaluation, we qualitatively demonstrate practical robot applications, such as cleaning up trash in university hallways or outdoor terrains, operating articulated objects, and rearranging items on a bookshelf.