Cross Anything : Navigation Générale de Robots Quadrupèdes à Travers des Terrains Complexes

Cross Anything: General Quadruped Robot Navigation through Complex Terrains

July 23, 2024

Auteurs: Shaoting Zhu, Derun Li, Yong Liu, Ningyi Xu, Hang Zhao

cs.AI

Résumé

L'application des modèles vision-langage (VLMs) a obtenu un succès impressionnant dans diverses tâches robotiques, mais il existe peu d'explorations concernant l'utilisation de modèles fondateurs pour la navigation des robots quadrupèdes. Nous présentons le système Cross Anything System (CAS), une innovation composée d'un module de raisonnement de haut niveau et d'une politique de contrôle de bas niveau, permettant au robot de naviguer sur des terrains 3D complexes et d'atteindre la position cible. Pour le raisonnement de haut niveau et la planification de mouvement, nous proposons un système algorithmique novateur exploitant un VLM, avec une conception de décomposition de tâches et un mécanisme d'exécution en boucle fermée des sous-tâches. Pour le contrôle de locomotion de bas niveau, nous utilisons la méthode de sélection par recuit probabiliste (PAS) pour entraîner une politique de contrôle par apprentissage par renforcement. De nombreuses expériences montrent que notre système complet peut naviguer avec précision et robustesse sur des terrains 3D complexes, et sa forte capacité de généralisation assure des applications dans divers scénarios et terrains intérieurs et extérieurs. Page du projet : https://cross-anything.github.io/

English

The application of vision-language models (VLMs) has achieved impressive success in various robotics tasks, but there are few explorations for foundation models used in quadruped robot navigation. We introduce Cross Anything System (CAS), an innovative system composed of a high-level reasoning module and a low-level control policy, enabling the robot to navigate across complex 3D terrains and reach the goal position. For high-level reasoning and motion planning, we propose a novel algorithmic system taking advantage of a VLM, with a design of task decomposition and a closed-loop sub-task execution mechanism. For low-level locomotion control, we utilize the Probability Annealing Selection (PAS) method to train a control policy by reinforcement learning. Numerous experiments show that our whole system can accurately and robustly navigate across complex 3D terrains, and its strong generalization ability ensures the applications in diverse indoor and outdoor scenarios and terrains. Project page: https://cross-anything.github.io/