Cross Anything: Navigazione Generale di Robot Quadrupedi su Terreni Complessi

Cross Anything: General Quadruped Robot Navigation through Complex Terrains

July 23, 2024

Autori: Shaoting Zhu, Derun Li, Yong Liu, Ningyi Xu, Hang Zhao

cs.AI

Abstract

L'applicazione di modelli visione-linguaggio (VLMs) ha ottenuto un successo impressionante in vari compiti di robotica, ma ci sono poche esplorazioni riguardo ai modelli di base utilizzati nella navigazione di robot quadrupedi. Introduciamo il Cross Anything System (CAS), un sistema innovativo composto da un modulo di ragionamento di alto livello e una politica di controllo di basso livello, che consente al robot di navigare attraverso terreni 3D complessi e raggiungere la posizione obiettivo. Per il ragionamento di alto livello e la pianificazione del movimento, proponiamo un nuovo sistema algoritmico che sfrutta un VLM, con un design di scomposizione dei compiti e un meccanismo di esecuzione a ciclo chiuso dei sotto-compiti. Per il controllo della locomozione di basso livello, utilizziamo il metodo Probability Annealing Selection (PAS) per addestrare una politica di controllo tramite apprendimento per rinforzo. Numerosi esperimenti dimostrano che il nostro sistema completo può navigare in modo accurato e robusto attraverso terreni 3D complessi, e la sua forte capacità di generalizzazione garantisce applicazioni in diversi scenari e terreni sia interni che esterni. Pagina del progetto: https://cross-anything.github.io/

English

The application of vision-language models (VLMs) has achieved impressive success in various robotics tasks, but there are few explorations for foundation models used in quadruped robot navigation. We introduce Cross Anything System (CAS), an innovative system composed of a high-level reasoning module and a low-level control policy, enabling the robot to navigate across complex 3D terrains and reach the goal position. For high-level reasoning and motion planning, we propose a novel algorithmic system taking advantage of a VLM, with a design of task decomposition and a closed-loop sub-task execution mechanism. For low-level locomotion control, we utilize the Probability Annealing Selection (PAS) method to train a control policy by reinforcement learning. Numerous experiments show that our whole system can accurately and robustly navigate across complex 3D terrains, and its strong generalization ability ensures the applications in diverse indoor and outdoor scenarios and terrains. Project page: https://cross-anything.github.io/