Comportamientos Expresivos Generativos en Robots utilizando Modelos de Lenguaje a Gran Escala

Generative Expressive Robot Behaviors using Large Language Models

January 26, 2024

Autores: Karthik Mahadevan, Jonathan Chien, Noah Brown, Zhuo Xu, Carolina Parada, Fei Xia, Andy Zeng, Leila Takayama, Dorsa Sadigh

cs.AI

Resumen

Las personas emplean comportamientos expresivos para comunicarse y coordinar sus acciones de manera efectiva con otros, como asentir para reconocer a alguien que los mira o decir "con permiso" para pasar entre la gente en un corredor concurrido. Nos gustaría que los robots también demostraran comportamientos expresivos en la interacción humano-robot. Trabajos previos proponen métodos basados en reglas que tienen dificultades para escalar a nuevas modalidades de comunicación o situaciones sociales, mientras que los métodos basados en datos requieren conjuntos de datos especializados para cada situación social en la que se utiliza el robot. Proponemos aprovechar el rico contexto social disponible en los grandes modelos de lenguaje (LLMs, por sus siglas en inglés) y su capacidad para generar movimiento basado en instrucciones o preferencias del usuario, para generar movimientos expresivos del robot que sean adaptables y componibles, construyéndose unos sobre otros. Nuestro enfoque utiliza el prompting de cadena de pensamiento con pocos ejemplos para traducir instrucciones en lenguaje humano a código de control parametrizado utilizando las habilidades disponibles y aprendidas del robot. A través de estudios con usuarios y experimentos de simulación, demostramos que nuestro enfoque produce comportamientos que los usuarios consideraron competentes y fáciles de entender. El material complementario se puede encontrar en https://generative-expressive-motion.github.io/.

English

People employ expressive behaviors to effectively communicate and coordinate their actions with others, such as nodding to acknowledge a person glancing at them or saying "excuse me" to pass people in a busy corridor. We would like robots to also demonstrate expressive behaviors in human-robot interaction. Prior work proposes rule-based methods that struggle to scale to new communication modalities or social situations, while data-driven methods require specialized datasets for each social situation the robot is used in. We propose to leverage the rich social context available from large language models (LLMs) and their ability to generate motion based on instructions or user preferences, to generate expressive robot motion that is adaptable and composable, building upon each other. Our approach utilizes few-shot chain-of-thought prompting to translate human language instructions into parametrized control code using the robot's available and learned skills. Through user studies and simulation experiments, we demonstrate that our approach produces behaviors that users found to be competent and easy to understand. Supplementary material can be found at https://generative-expressive-motion.github.io/.