SayTap: Linguaggio alla Locomozione Quadrupedale

SayTap: Language to Quadrupedal Locomotion

June 13, 2023

Autori: Yujin Tang, Wenhao Yu, Jie Tan, Heiga Zen, Aleksandra Faust, Tatsuya Harada

cs.AI

Abstract

I grandi modelli linguistici (LLM) hanno dimostrato il potenziale di eseguire pianificazioni di alto livello. Tuttavia, rimane una sfida per gli LLM comprendere comandi di basso livello, come target di angoli articolari o coppie motorie. Questo articolo propone un approccio che utilizza i pattern di contatto del piede come interfaccia per collegare i comandi umani in linguaggio naturale e un controller di locomozione che genera questi comandi di basso livello. Ciò si traduce in un sistema interattivo per robot quadrupedi che consente agli utenti di creare comportamenti di locomozione diversificati in modo flessibile. Contribuiamo con un design di prompt per LLM, una funzione di reward e un metodo per esporre il controller alla distribuzione fattibile dei pattern di contatto. I risultati includono un controller in grado di raggiungere pattern di locomozione diversificati che possono essere trasferiti su hardware robotico reale. Rispetto ad altre scelte progettuali, l'approccio proposto ottiene un tasso di successo superiore al 50% nella previsione dei pattern di contatto corretti e può risolvere 10 task in più su un totale di 30 task. Il sito del nostro progetto è: https://saytap.github.io.

English

Large language models (LLMs) have demonstrated the potential to perform high-level planning. Yet, it remains a challenge for LLMs to comprehend low-level commands, such as joint angle targets or motor torques. This paper proposes an approach to use foot contact patterns as an interface that bridges human commands in natural language and a locomotion controller that outputs these low-level commands. This results in an interactive system for quadrupedal robots that allows the users to craft diverse locomotion behaviors flexibly. We contribute an LLM prompt design, a reward function, and a method to expose the controller to the feasible distribution of contact patterns. The results are a controller capable of achieving diverse locomotion patterns that can be transferred to real robot hardware. Compared with other design choices, the proposed approach enjoys more than 50% success rate in predicting the correct contact patterns and can solve 10 more tasks out of a total of 30 tasks. Our project site is: https://saytap.github.io.