SayTap: Lenguaje a Locomoción Cuadrúpeda

SayTap: Language to Quadrupedal Locomotion

June 13, 2023

Autores: Yujin Tang, Wenhao Yu, Jie Tan, Heiga Zen, Aleksandra Faust, Tatsuya Harada

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado el potencial para realizar planificación de alto nivel. Sin embargo, sigue siendo un desafío para estos modelos comprender comandos de bajo nivel, como objetivos de ángulos articulares o pares motores. Este artículo propone un enfoque que utiliza patrones de contacto de las patas como interfaz para conectar comandos humanos en lenguaje natural con un controlador de locomoción que genera estos comandos de bajo nivel. Esto da como resultado un sistema interactivo para robots cuadrúpedos que permite a los usuarios diseñar comportamientos de locomoción diversos de manera flexible. Contribuimos con un diseño de instrucción para el LLM, una función de recompensa y un método para exponer el controlador a la distribución factible de patrones de contacto. Los resultados incluyen un controlador capaz de lograr patrones de locomoción diversos que pueden transferirse a hardware robótico real. En comparación con otras opciones de diseño, el enfoque propuesto supera una tasa de éxito del 50% en la predicción de patrones de contacto correctos y puede resolver 10 tareas adicionales de un total de 30. Nuestro sitio del proyecto es: https://saytap.github.io.

English

Large language models (LLMs) have demonstrated the potential to perform high-level planning. Yet, it remains a challenge for LLMs to comprehend low-level commands, such as joint angle targets or motor torques. This paper proposes an approach to use foot contact patterns as an interface that bridges human commands in natural language and a locomotion controller that outputs these low-level commands. This results in an interactive system for quadrupedal robots that allows the users to craft diverse locomotion behaviors flexibly. We contribute an LLM prompt design, a reward function, and a method to expose the controller to the feasible distribution of contact patterns. The results are a controller capable of achieving diverse locomotion patterns that can be transferred to real robot hardware. Compared with other design choices, the proposed approach enjoys more than 50% success rate in predicting the correct contact patterns and can solve 10 more tasks out of a total of 30 tasks. Our project site is: https://saytap.github.io.