WildLMa: Langfristige Horizont-Loco-Manipulation in freier Wildbahn

WildLMa: Long Horizon Loco-Manipulation in the Wild

November 22, 2024

Autoren: Ri-Zhao Qiu, Yuchen Song, Xuanbin Peng, Sai Aneesh Suryadevara, Ge Yang, Minghuan Liu, Mazeyu Ji, Chengzhe Jia, Ruihan Yang, Xueyan Zou, Xiaolong Wang

cs.AI

Zusammenfassung

Die mobile Manipulation "in freier Wildbahn" zielt darauf ab, Roboter in vielfältigen realen Umgebungen einzusetzen, was erfordert, dass der Roboter (1) Fähigkeiten besitzt, die sich auf Objektkonfigurationen verallgemeinern lassen; (2) in der Lage ist, langfristige Aufgaben in verschiedenen Umgebungen auszuführen; und (3) komplexe Manipulationen über das Greifen und Ablegen hinaus durchführen kann. Vierbeinige Roboter mit Manipulatoren versprechen, den Arbeitsbereich zu erweitern und eine robuste Fortbewegung zu ermöglichen, aber bisherige Ergebnisse untersuchen eine solche Fähigkeit nicht. Dieser Artikel schlägt WildLMa mit drei Komponenten vor, um diese Probleme anzugehen: (1) Anpassung eines erlernten Niedrigpegel-Controllers für VR-gestützte Ganzkörper-Fernsteuerung und Tragfähigkeit; (2) WildLMa-Skill - eine Bibliothek von verallgemeinerbaren visuomotorischen Fähigkeiten, die durch Imitationslernen oder Heuristiken erworben wurden; und (3) WildLMa-Planner - eine Schnittstelle erlernter Fähigkeiten, die LLM-Planern ermöglichen, Fähigkeiten für langfristige Aufgaben zu koordinieren. Wir zeigen die Bedeutung hochwertiger Trainingsdaten, indem wir eine höhere Greiferfolgsrate im Vergleich zu bestehenden RL-Baselines erreichen, indem wir nur zehn Demonstrationen verwenden. WildLMa nutzt CLIP für sprachkonditioniertes Imitationslernen, das sich empirisch auf Objekte verallgemeinert, die in den Trainingsdemonstrationen nicht gesehen wurden. Neben umfangreicher quantitativer Bewertung zeigen wir qualitativ praktische Roboteranwendungen, wie das Aufräumen von Müll in Universitätsfluren oder Außengeländen, das Bedienen von Gelenkobjekten und das Umstellen von Gegenständen in einem Bücherregal.

English

`In-the-wild' mobile manipulation aims to deploy robots in diverse real-world environments, which requires the robot to (1) have skills that generalize across object configurations; (2) be capable of long-horizon task execution in diverse environments; and (3) perform complex manipulation beyond pick-and-place. Quadruped robots with manipulators hold promise for extending the workspace and enabling robust locomotion, but existing results do not investigate such a capability. This paper proposes WildLMa with three components to address these issues: (1) adaptation of learned low-level controller for VR-enabled whole-body teleoperation and traversability; (2) WildLMa-Skill -- a library of generalizable visuomotor skills acquired via imitation learning or heuristics and (3) WildLMa-Planner -- an interface of learned skills that allow LLM planners to coordinate skills for long-horizon tasks. We demonstrate the importance of high-quality training data by achieving higher grasping success rate over existing RL baselines using only tens of demonstrations. WildLMa exploits CLIP for language-conditioned imitation learning that empirically generalizes to objects unseen in training demonstrations. Besides extensive quantitative evaluation, we qualitatively demonstrate practical robot applications, such as cleaning up trash in university hallways or outdoor terrains, operating articulated objects, and rearranging items on a bookshelf.