SayTap : Langage pour la locomotion quadrupède

SayTap: Language to Quadrupedal Locomotion

June 13, 2023

Auteurs: Yujin Tang, Wenhao Yu, Jie Tan, Heiga Zen, Aleksandra Faust, Tatsuya Harada

cs.AI

Résumé

Les grands modèles de langage (LLM) ont démontré leur potentiel à effectuer une planification de haut niveau. Cependant, il reste un défi pour les LLM de comprendre des commandes de bas niveau, telles que des cibles d'angle articulaire ou des couples moteurs. Cet article propose une approche utilisant les motifs de contact des pieds comme interface reliant les commandes humaines en langage naturel à un contrôleur de locomotion qui génère ces commandes de bas niveau. Cela aboutit à un système interactif pour robots quadrupèdes permettant aux utilisateurs de concevoir de manière flexible des comportements de locomotion variés. Nous contribuons par la conception d'un prompt pour LLM, une fonction de récompense, et une méthode pour exposer le contrôleur à la distribution réalisable des motifs de contact. Les résultats montrent un contrôleur capable d'atteindre des motifs de locomotion diversifiés, transférables à du matériel robotique réel. Comparée à d'autres choix de conception, l'approche proposée bénéficie d'un taux de réussite supérieur à 50 % dans la prédiction des motifs de contact corrects et peut résoudre 10 tâches supplémentaires sur un total de 30 tâches. Notre site de projet est : https://saytap.github.io.

English

Large language models (LLMs) have demonstrated the potential to perform high-level planning. Yet, it remains a challenge for LLMs to comprehend low-level commands, such as joint angle targets or motor torques. This paper proposes an approach to use foot contact patterns as an interface that bridges human commands in natural language and a locomotion controller that outputs these low-level commands. This results in an interactive system for quadrupedal robots that allows the users to craft diverse locomotion behaviors flexibly. We contribute an LLM prompt design, a reward function, and a method to expose the controller to the feasible distribution of contact patterns. The results are a controller capable of achieving diverse locomotion patterns that can be transferred to real robot hardware. Compared with other design choices, the proposed approach enjoys more than 50% success rate in predicting the correct contact patterns and can solve 10 more tasks out of a total of 30 tasks. Our project site is: https://saytap.github.io.