SayTap: 언어 기반 사족 보행 제어

초록

대규모 언어 모델(LLM)은 고수준의 계획을 수행할 수 있는 잠재력을 보여주었습니다. 그러나 관절 각도 목표나 모터 토크와 같은 저수준 명령을 이해하는 것은 여전히 LLM에게 도전적인 과제로 남아 있습니다. 본 논문은 자연어로 표현된 인간의 명령과 이러한 저수준 명령을 출력하는 보행 제어기 사이의 인터페이스로 발 접촉 패턴을 사용하는 접근 방식을 제안합니다. 이를 통해 사용자가 다양한 보행 행동을 유연하게 설계할 수 있는 사족 보행 로봇용 상호작용 시스템을 구현합니다. 우리는 LLM 프롬프트 설계, 보상 함수, 그리고 제어기가 실현 가능한 접촉 패턴 분포에 노출될 수 있도록 하는 방법을 제시합니다. 그 결과, 실제 로봇 하드웨어로 전환 가능한 다양한 보행 패턴을 달성할 수 있는 제어기를 개발했습니다. 다른 설계 선택과 비교했을 때, 제안된 접근 방식은 올바른 접촉 패턴을 예측하는 데 50% 이상의 성공률을 보였으며, 총 30개 작업 중 10개 이상의 작업을 해결할 수 있었습니다. 우리의 프로젝트 사이트는 https://saytap.github.io 입니다.

English

Large language models (LLMs) have demonstrated the potential to perform high-level planning. Yet, it remains a challenge for LLMs to comprehend low-level commands, such as joint angle targets or motor torques. This paper proposes an approach to use foot contact patterns as an interface that bridges human commands in natural language and a locomotion controller that outputs these low-level commands. This results in an interactive system for quadrupedal robots that allows the users to craft diverse locomotion behaviors flexibly. We contribute an LLM prompt design, a reward function, and a method to expose the controller to the feasible distribution of contact patterns. The results are a controller capable of achieving diverse locomotion patterns that can be transferred to real robot hardware. Compared with other design choices, the proposed approach enjoys more than 50% success rate in predicting the correct contact patterns and can solve 10 more tasks out of a total of 30 tasks. Our project site is: https://saytap.github.io.

SayTap: 언어 기반 사족 보행 제어

SayTap: Language to Quadrupedal Locomotion

초록

Support