GPT-modellen ontmoeten robotische toepassingen: Co-speech gebaren chatsysteem

GPT Models Meet Robotic Applications: Co-Speech Gesturing Chat System

May 10, 2023

Auteurs: Naoki Wake, Atsushi Kanehira, Kazuhiro Sasabuchi, Jun Takamatsu, Katsushi Ikeuchi

cs.AI

Samenvatting

Dit technische artikel introduceert een chatsysteem voor robots dat gebruikmaakt van recente ontwikkelingen in grootschalige taalmodelen (LLMs) zoals GPT-3 en ChatGPT. Het systeem is geïntegreerd met een co-speech gebarengeneratiesysteem, dat geschikte gebaren selecteert op basis van de conceptuele betekenis van spraak. Onze motivatie is om manieren te verkennen om de recente vooruitgang in LLMs te benutten voor praktische robottoepassingen, wat de ontwikkeling van zowel chatbots als LLMs ten goede komt. Specifiek maakt het de ontwikkeling van zeer responsieve chatbotsystemen mogelijk door gebruik te maken van LLMs en voegt het visuele effecten toe aan de gebruikersinterface van LLMs als extra waarde. De broncode voor het systeem is beschikbaar op GitHub voor onze interne robot (https://github.com/microsoft/LabanotationSuite/tree/master/MSRAbotChatSimulation) en op GitHub voor de Toyota HSR (https://github.com/microsoft/GPT-Enabled-HSR-CoSpeechGestures).

English

This technical paper introduces a chatting robot system that utilizes recent advancements in large-scale language models (LLMs) such as GPT-3 and ChatGPT. The system is integrated with a co-speech gesture generation system, which selects appropriate gestures based on the conceptual meaning of speech. Our motivation is to explore ways of utilizing the recent progress in LLMs for practical robotic applications, which benefits the development of both chatbots and LLMs. Specifically, it enables the development of highly responsive chatbot systems by leveraging LLMs and adds visual effects to the user interface of LLMs as an additional value. The source code for the system is available on GitHub for our in-house robot (https://github.com/microsoft/LabanotationSuite/tree/master/MSRAbotChatSimulation) and GitHub for Toyota HSR (https://github.com/microsoft/GPT-Enabled-HSR-CoSpeechGestures).