크로스 애니띵: 복잡한 지형을 통한 일반적인 사족 보행 로봇 내비게이션

Cross Anything: General Quadruped Robot Navigation through Complex Terrains

July 23, 2024

저자: Shaoting Zhu, Derun Li, Yong Liu, Ningyi Xu, Hang Zhao

cs.AI

초록

비전-언어 모델(VLMs)의 적용은 다양한 로봇 공학 작업에서 인상적인 성공을 거두었지만, 사족 보행 로봇 네비게이션에 사용되는 기초 모델에 대한 탐구는 아직 미미한 상황입니다. 우리는 Cross Anything System(CAS)을 소개합니다. 이 혁신적인 시스템은 고수준 추론 모듈과 저수준 제어 정책으로 구성되어, 로봇이 복잡한 3D 지형을 가로질러 목표 위치에 도달할 수 있도록 합니다. 고수준 추론 및 모션 계획을 위해, 우리는 VLM을 활용한 새로운 알고리즘 시스템을 제안하며, 이를 위해 작업 분해와 폐루프 하위 작업 실행 메커니즘을 설계했습니다. 저수준 이동 제어를 위해, 우리는 확률적 어닐링 선택(PAS) 방법을 사용하여 강화 학습을 통해 제어 정책을 훈련시킵니다. 다양한 실험을 통해 우리의 전체 시스템이 복잡한 3D 지형을 정확하고 견고하게 탐색할 수 있음을 보여주며, 그 강력한 일반화 능력은 다양한 실내외 시나리오와 지형에서의 응용을 보장합니다. 프로젝트 페이지: https://cross-anything.github.io/

English

The application of vision-language models (VLMs) has achieved impressive success in various robotics tasks, but there are few explorations for foundation models used in quadruped robot navigation. We introduce Cross Anything System (CAS), an innovative system composed of a high-level reasoning module and a low-level control policy, enabling the robot to navigate across complex 3D terrains and reach the goal position. For high-level reasoning and motion planning, we propose a novel algorithmic system taking advantage of a VLM, with a design of task decomposition and a closed-loop sub-task execution mechanism. For low-level locomotion control, we utilize the Probability Annealing Selection (PAS) method to train a control policy by reinforcement learning. Numerous experiments show that our whole system can accurately and robustly navigate across complex 3D terrains, and its strong generalization ability ensures the applications in diverse indoor and outdoor scenarios and terrains. Project page: https://cross-anything.github.io/