Modelos GPT en Aplicaciones Robóticas: Sistema de Chat con Gesticulación Co-verbal

GPT Models Meet Robotic Applications: Co-Speech Gesturing Chat System

May 10, 2023

Autores: Naoki Wake, Atsushi Kanehira, Kazuhiro Sasabuchi, Jun Takamatsu, Katsushi Ikeuchi

cs.AI

Resumen

Este artículo técnico presenta un sistema de robot conversacional que aprovecha los avances recientes en modelos de lenguaje a gran escala (LLMs, por sus siglas en inglés) como GPT-3 y ChatGPT. El sistema está integrado con un generador de gestos co-verbales, que selecciona gestos apropiados basándose en el significado conceptual del habla. Nuestra motivación es explorar formas de utilizar el progreso reciente en LLMs para aplicaciones robóticas prácticas, lo que beneficia el desarrollo tanto de chatbots como de LLMs. En concreto, permite el desarrollo de sistemas de chatbots altamente receptivos al aprovechar los LLMs y añade efectos visuales a la interfaz de usuario de los LLMs como un valor adicional. El código fuente del sistema está disponible en GitHub para nuestro robot interno (https://github.com/microsoft/LabanotationSuite/tree/master/MSRAbotChatSimulation) y en GitHub para el Toyota HSR (https://github.com/microsoft/GPT-Enabled-HSR-CoSpeechGestures).

English

This technical paper introduces a chatting robot system that utilizes recent advancements in large-scale language models (LLMs) such as GPT-3 and ChatGPT. The system is integrated with a co-speech gesture generation system, which selects appropriate gestures based on the conceptual meaning of speech. Our motivation is to explore ways of utilizing the recent progress in LLMs for practical robotic applications, which benefits the development of both chatbots and LLMs. Specifically, it enables the development of highly responsive chatbot systems by leveraging LLMs and adds visual effects to the user interface of LLMs as an additional value. The source code for the system is available on GitHub for our in-house robot (https://github.com/microsoft/LabanotationSuite/tree/master/MSRAbotChatSimulation) and GitHub for Toyota HSR (https://github.com/microsoft/GPT-Enabled-HSR-CoSpeechGestures).