Пересечь что угодно: Общая навигация робота-четверонога через сложные местности

Cross Anything: General Quadruped Robot Navigation through Complex Terrains

July 23, 2024

Авторы: Shaoting Zhu, Derun Li, Yong Liu, Ningyi Xu, Hang Zhao

cs.AI

Аннотация

Применение моделей видео-языка (VLM) достигло впечатляющих успехов в различных задачах робототехники, но существует небольшое количество исследований для базовых моделей, используемых в навигации четвероногих роботов. Мы представляем систему Cross Anything System (CAS), инновационную систему, состоящую из модуля высокоуровневого рассуждения и политики управления низкого уровня, позволяющую роботу перемещаться по сложным трехмерным местностям и достигать целевой позиции. Для высокоуровневого рассуждения и планирования движения мы предлагаем новую алгоритмическую систему, использующую преимущества VLM, с разработкой декомпозиции задачи и механизмом выполнения подзадач в замкнутом цикле. Для управления низкоуровневым передвижением мы используем метод вероятностного отбора с уменьшением вероятности (PAS) для обучения политики управления с помощью обучения с подкреплением. Многочисленные эксперименты показывают, что наша вся система может точно и надежно перемещаться по сложным трехмерным местностям, а ее сильная обобщающая способность обеспечивает применение в различных внутренних и внешних сценариях и местностях. Страница проекта: https://cross-anything.github.io/

English

The application of vision-language models (VLMs) has achieved impressive success in various robotics tasks, but there are few explorations for foundation models used in quadruped robot navigation. We introduce Cross Anything System (CAS), an innovative system composed of a high-level reasoning module and a low-level control policy, enabling the robot to navigate across complex 3D terrains and reach the goal position. For high-level reasoning and motion planning, we propose a novel algorithmic system taking advantage of a VLM, with a design of task decomposition and a closed-loop sub-task execution mechanism. For low-level locomotion control, we utilize the Probability Annealing Selection (PAS) method to train a control policy by reinforcement learning. Numerous experiments show that our whole system can accurately and robustly navigate across complex 3D terrains, and its strong generalization ability ensures the applications in diverse indoor and outdoor scenarios and terrains. Project page: https://cross-anything.github.io/