SayTap: Преобразование языка в движение четвероногого робота

SayTap: Language to Quadrupedal Locomotion

June 13, 2023

Авторы: Yujin Tang, Wenhao Yu, Jie Tan, Heiga Zen, Aleksandra Faust, Tatsuya Harada

cs.AI

Аннотация

Крупные языковые модели (LLMs) продемонстрировали потенциал для выполнения задач высокоуровневого планирования. Однако для LLMs остается сложной задачей понимание низкоуровневых команд, таких как целевые углы суставов или крутящие моменты двигателей. В данной статье предлагается подход, использующий паттерны контакта стоп в качестве интерфейса, который связывает команды человека на естественном языке и контроллер локомоции, выдающий эти низкоуровневые команды. Это приводит к созданию интерактивной системы для четвероногих роботов, позволяющей пользователям гибко разрабатывать разнообразные модели движения. Мы предлагаем дизайн подсказок для LLM, функцию вознаграждения и метод для ознакомления контроллера с допустимым распределением паттернов контакта. В результате создается контроллер, способный достигать разнообразных моделей локомоции, которые могут быть перенесены на реальное роботизированное оборудование. По сравнению с другими подходами, предложенный метод демонстрирует более чем 50% успешность в предсказании правильных паттернов контакта и может решить на 10 задач больше из общего числа 30 задач. Наш проект доступен по адресу: https://saytap.github.io.

English

Large language models (LLMs) have demonstrated the potential to perform high-level planning. Yet, it remains a challenge for LLMs to comprehend low-level commands, such as joint angle targets or motor torques. This paper proposes an approach to use foot contact patterns as an interface that bridges human commands in natural language and a locomotion controller that outputs these low-level commands. This results in an interactive system for quadrupedal robots that allows the users to craft diverse locomotion behaviors flexibly. We contribute an LLM prompt design, a reward function, and a method to expose the controller to the feasible distribution of contact patterns. The results are a controller capable of achieving diverse locomotion patterns that can be transferred to real robot hardware. Compared with other design choices, the proposed approach enjoys more than 50% success rate in predicting the correct contact patterns and can solve 10 more tasks out of a total of 30 tasks. Our project site is: https://saytap.github.io.