SayTap: 言語から四足歩行ロコモーションへ

SayTap: Language to Quadrupedal Locomotion

June 13, 2023

著者: Yujin Tang, Wenhao Yu, Jie Tan, Heiga Zen, Aleksandra Faust, Tatsuya Harada

cs.AI

要旨

大規模言語モデル（LLMs）は、高度な計画を実行する可能性を示しています。しかし、関節角度の目標値やモータートルクなどの低レベルのコマンドを理解することは、LLMsにとって依然として課題です。本論文では、自然言語での人間のコマンドと、これらの低レベルコマンドを出力する移動制御器を橋渡しするインターフェースとして、足の接触パターンを使用するアプローチを提案します。これにより、ユーザーが多様な移動動作を柔軟に設計できる四足ロボットのインタラクティブシステムが実現します。我々は、LLMプロンプト設計、報酬関数、および制御器を実行可能な接触パターンの分布に曝露する方法を提供します。その結果、実ロボットハードウェアに転送可能な多様な移動パターンを達成できる制御器が得られます。他の設計選択と比較して、提案手法は正しい接触パターンを予測する成功率が50%以上高く、合計30のタスクのうち10以上のタスクを解決できます。プロジェクトサイトは以下です: https://saytap.github.io。

English

Large language models (LLMs) have demonstrated the potential to perform high-level planning. Yet, it remains a challenge for LLMs to comprehend low-level commands, such as joint angle targets or motor torques. This paper proposes an approach to use foot contact patterns as an interface that bridges human commands in natural language and a locomotion controller that outputs these low-level commands. This results in an interactive system for quadrupedal robots that allows the users to craft diverse locomotion behaviors flexibly. We contribute an LLM prompt design, a reward function, and a method to expose the controller to the feasible distribution of contact patterns. The results are a controller capable of achieving diverse locomotion patterns that can be transferred to real robot hardware. Compared with other design choices, the proposed approach enjoys more than 50% success rate in predicting the correct contact patterns and can solve 10 more tasks out of a total of 30 tasks. Our project site is: https://saytap.github.io.