Cruza Todo: Navegación General de Robots Cuadrúpedos a través de Terrenos Complejos

Cross Anything: General Quadruped Robot Navigation through Complex Terrains

July 23, 2024

Autores: Shaoting Zhu, Derun Li, Yong Liu, Ningyi Xu, Hang Zhao

cs.AI

Resumen

La aplicación de modelos visión-lenguaje (VLMs) ha logrado un éxito impresionante en diversas tareas de robótica, pero hay pocas exploraciones para modelos fundamentales utilizados en la navegación de robots cuadrúpedos. Presentamos el Sistema de Travesía Cruzada (CAS), un sistema innovador compuesto por un módulo de razonamiento de alto nivel y una política de control de bajo nivel, que permite al robot navegar a través de terrenos 3D complejos y alcanzar la posición objetivo. Para el razonamiento de alto nivel y la planificación de movimiento, proponemos un sistema algorítmico novedoso que aprovecha un VLM, con un diseño de descomposición de tareas y un mecanismo de ejecución de sub-tareas en bucle cerrado. Para el control de locomoción de bajo nivel, utilizamos el método de Selección de Templado de Probabilidad (PAS) para entrenar una política de control mediante aprendizaje por refuerzo. Numerosos experimentos muestran que nuestro sistema completo puede navegar con precisión y robustez a través de terrenos 3D complejos, y su sólida capacidad de generalización garantiza su aplicación en diversos escenarios y terrenos interiores y exteriores. Página del proyecto: https://cross-anything.github.io/

English

The application of vision-language models (VLMs) has achieved impressive success in various robotics tasks, but there are few explorations for foundation models used in quadruped robot navigation. We introduce Cross Anything System (CAS), an innovative system composed of a high-level reasoning module and a low-level control policy, enabling the robot to navigate across complex 3D terrains and reach the goal position. For high-level reasoning and motion planning, we propose a novel algorithmic system taking advantage of a VLM, with a design of task decomposition and a closed-loop sub-task execution mechanism. For low-level locomotion control, we utilize the Probability Annealing Selection (PAS) method to train a control policy by reinforcement learning. Numerous experiments show that our whole system can accurately and robustly navigate across complex 3D terrains, and its strong generalization ability ensures the applications in diverse indoor and outdoor scenarios and terrains. Project page: https://cross-anything.github.io/