Les modèles GPT rencontrent les applications robotiques : Système de chat avec gestes co-verbaux

GPT Models Meet Robotic Applications: Co-Speech Gesturing Chat System

May 10, 2023

Auteurs: Naoki Wake, Atsushi Kanehira, Kazuhiro Sasabuchi, Jun Takamatsu, Katsushi Ikeuchi

cs.AI

Résumé

Cet article technique présente un système de robot conversationnel qui exploite les récentes avancées dans les modèles de langage à grande échelle (LLMs) tels que GPT-3 et ChatGPT. Le système est intégré à un générateur de gestes co-parole, qui sélectionne des gestes appropriés en fonction de la signification conceptuelle du discours. Notre motivation est d'explorer des moyens d'utiliser les progrès récents des LLMs pour des applications robotiques pratiques, ce qui profite au développement à la fois des chatbots et des LLMs. Plus précisément, cela permet le développement de systèmes de chatbots hautement réactifs en tirant parti des LLMs et ajoute des effets visuels à l'interface utilisateur des LLMs comme valeur ajoutée. Le code source du système est disponible sur GitHub pour notre robot interne (https://github.com/microsoft/LabanotationSuite/tree/master/MSRAbotChatSimulation) et sur GitHub pour le Toyota HSR (https://github.com/microsoft/GPT-Enabled-HSR-CoSpeechGestures).

English

This technical paper introduces a chatting robot system that utilizes recent advancements in large-scale language models (LLMs) such as GPT-3 and ChatGPT. The system is integrated with a co-speech gesture generation system, which selects appropriate gestures based on the conceptual meaning of speech. Our motivation is to explore ways of utilizing the recent progress in LLMs for practical robotic applications, which benefits the development of both chatbots and LLMs. Specifically, it enables the development of highly responsive chatbot systems by leveraging LLMs and adds visual effects to the user interface of LLMs as an additional value. The source code for the system is available on GitHub for our in-house robot (https://github.com/microsoft/LabanotationSuite/tree/master/MSRAbotChatSimulation) and GitHub for Toyota HSR (https://github.com/microsoft/GPT-Enabled-HSR-CoSpeechGestures).