Überquere Alles: Allgemeine Navigation eines quadrupeden Roboters durch komplexe Gelände

Cross Anything: General Quadruped Robot Navigation through Complex Terrains

July 23, 2024

Autoren: Shaoting Zhu, Derun Li, Yong Liu, Ningyi Xu, Hang Zhao

cs.AI

Zusammenfassung

Die Anwendung von Vision-Sprach-Modellen (VLMs) hat beeindruckende Erfolge in verschiedenen Robotik-Aufgaben erzielt, aber es gibt nur wenige Untersuchungen für Grundlagenmodelle, die in der Navigation von Vierbein-Robotern verwendet werden. Wir stellen das Cross Anything System (CAS) vor, ein innovatives System, bestehend aus einem hochrangigen Denkmodul und einer nieder-rangigen Steuerungsrichtlinie, das es dem Roboter ermöglicht, komplexe 3D-Gelände zu durchqueren und die Zielposition zu erreichen. Für das hochrangige Denken und die Bewegungsplanung schlagen wir ein neuartiges algorithmisches System vor, das von einem VLM profitiert, mit einem Entwurf der Aufgabenzerlegung und einem Closed-Loop-Teilaufgaben-Ausführungsmechanismus. Für die nieder-rangige Fortbewegungssteuerung nutzen wir die Wahrscheinlichkeitsverteilungsauswahl (PAS) Methode, um eine Steuerungsrichtlinie durch Verstärkungslernen zu trainieren. Zahlreiche Experimente zeigen, dass unser gesamtes System genau und robust durch komplexe 3D-Gelände navigieren kann, und seine starke Verallgemeinerungsfähigkeit gewährleistet Anwendungen in vielfältigen Innen- und Außenszenarien sowie Geländen. Projektseite: https://cross-anything.github.io/

English

The application of vision-language models (VLMs) has achieved impressive success in various robotics tasks, but there are few explorations for foundation models used in quadruped robot navigation. We introduce Cross Anything System (CAS), an innovative system composed of a high-level reasoning module and a low-level control policy, enabling the robot to navigate across complex 3D terrains and reach the goal position. For high-level reasoning and motion planning, we propose a novel algorithmic system taking advantage of a VLM, with a design of task decomposition and a closed-loop sub-task execution mechanism. For low-level locomotion control, we utilize the Probability Annealing Selection (PAS) method to train a control policy by reinforcement learning. Numerous experiments show that our whole system can accurately and robustly navigate across complex 3D terrains, and its strong generalization ability ensures the applications in diverse indoor and outdoor scenarios and terrains. Project page: https://cross-anything.github.io/