Cruze Qualquer Coisa: Navegação Geral de Robôs Quadrúpedes em Terrenos Complexos

Cross Anything: General Quadruped Robot Navigation through Complex Terrains

July 23, 2024

Autores: Shaoting Zhu, Derun Li, Yong Liu, Ningyi Xu, Hang Zhao

cs.AI

Resumo

A aplicação de modelos visão-linguagem (VLMs) tem alcançado sucesso impressionante em várias tarefas de robótica, mas há poucas explorações para modelos fundamentais usados na navegação de robôs quadrúpedes. Apresentamos o Sistema Cross Anything (CAS), um sistema inovador composto por um módulo de raciocínio de alto nível e uma política de controle de baixo nível, permitindo que o robô navegue por terrenos 3D complexos e alcance a posição de destino. Para o raciocínio de alto nível e planejamento de movimento, propomos um sistema algorítmico inovador aproveitando um VLM, com um design de decomposição de tarefas e um mecanismo de execução de sub-tarefas em loop fechado. Para o controle de locomoção de baixo nível, utilizamos o método de Seleção de Anelamento de Probabilidade (PAS) para treinar uma política de controle por aprendizado por reforço. Numerosos experimentos mostram que nosso sistema como um todo pode navegar com precisão e robustez por terrenos 3D complexos, e sua forte capacidade de generalização garante aplicações em diversos cenários e terrenos internos e externos. Página do projeto: https://cross-anything.github.io/

English

The application of vision-language models (VLMs) has achieved impressive success in various robotics tasks, but there are few explorations for foundation models used in quadruped robot navigation. We introduce Cross Anything System (CAS), an innovative system composed of a high-level reasoning module and a low-level control policy, enabling the robot to navigate across complex 3D terrains and reach the goal position. For high-level reasoning and motion planning, we propose a novel algorithmic system taking advantage of a VLM, with a design of task decomposition and a closed-loop sub-task execution mechanism. For low-level locomotion control, we utilize the Probability Annealing Selection (PAS) method to train a control policy by reinforcement learning. Numerous experiments show that our whole system can accurately and robustly navigate across complex 3D terrains, and its strong generalization ability ensures the applications in diverse indoor and outdoor scenarios and terrains. Project page: https://cross-anything.github.io/