Cross Anything: Algemene Navigatie van Viervoetige Robots door Complexe Terreinen

Cross Anything: General Quadruped Robot Navigation through Complex Terrains

July 23, 2024

Auteurs: Shaoting Zhu, Derun Li, Yong Liu, Ningyi Xu, Hang Zhao

cs.AI

Samenvatting

De toepassing van vision-language modellen (VLMs) heeft indrukwekkende successen behaald in diverse robotica-taken, maar er zijn weinig verkenningen gedaan naar foundation modellen die worden gebruikt in de navigatie van viervoetige robots. Wij introduceren het Cross Anything System (CAS), een innovatief systeem dat bestaat uit een hoog-niveau redeneermodule en een laag-niveau controlebeleid, waardoor de robot in staat is om complexe 3D-terreinen te doorkruisen en de doelpositie te bereiken. Voor hoog-niveau redenering en bewegingsplanning stellen we een nieuw algoritmisch systeem voor dat gebruikmaakt van een VLM, met een ontwerp van taakdecompositie en een gesloten-lus uitvoeringsmechanisme voor subtaken. Voor laag-niveau voortbewegingscontrole maken we gebruik van de Probability Annealing Selection (PAS)-methode om een controlebeleid te trainen door middel van reinforcement learning. Talrijke experimenten tonen aan dat ons hele systeem nauwkeurig en robuust kan navigeren over complexe 3D-terreinen, en zijn sterke generalisatievermogen zorgt voor toepassingen in diverse binnen- en buitenscenario's en terreinen. Projectpagina: https://cross-anything.github.io/

English

The application of vision-language models (VLMs) has achieved impressive success in various robotics tasks, but there are few explorations for foundation models used in quadruped robot navigation. We introduce Cross Anything System (CAS), an innovative system composed of a high-level reasoning module and a low-level control policy, enabling the robot to navigate across complex 3D terrains and reach the goal position. For high-level reasoning and motion planning, we propose a novel algorithmic system taking advantage of a VLM, with a design of task decomposition and a closed-loop sub-task execution mechanism. For low-level locomotion control, we utilize the Probability Annealing Selection (PAS) method to train a control policy by reinforcement learning. Numerous experiments show that our whole system can accurately and robustly navigate across complex 3D terrains, and its strong generalization ability ensures the applications in diverse indoor and outdoor scenarios and terrains. Project page: https://cross-anything.github.io/