GPT-Modelle treffen auf robotische Anwendungen: Ko-Sprach-Gestikulations-Chat-System

GPT Models Meet Robotic Applications: Co-Speech Gesturing Chat System

May 10, 2023

Autoren: Naoki Wake, Atsushi Kanehira, Kazuhiro Sasabuchi, Jun Takamatsu, Katsushi Ikeuchi

cs.AI

Zusammenfassung

Dieses technische Papier stellt ein Chatbot-System vor, das die jüngsten Fortschritte in großskaligen Sprachmodellen (Large-Scale Language Models, LLMs) wie GPT-3 und ChatGPT nutzt. Das System ist mit einem Co-Speech-Gestenerzeugungssystem integriert, das geeignete Gestalten basierend auf der konzeptionellen Bedeutung der Sprache auswählt. Unser Ziel ist es, Möglichkeiten zu erforschen, die jüngsten Fortschritte in LLMs für praktische robotische Anwendungen zu nutzen, was sowohl die Entwicklung von Chatbots als auch von LLMs vorantreibt. Insbesondere ermöglicht es die Entwicklung hochgradig reaktionsfähiger Chatbot-Systeme durch die Nutzung von LLMs und fügt visuelle Effekte zur Benutzeroberfläche von LLMs als zusätzlichen Mehrwert hinzu. Der Quellcode für das System ist auf GitHub für unseren hauseigenen Roboter (https://github.com/microsoft/LabanotationSuite/tree/master/MSRAbotChatSimulation) und auf GitHub für den Toyota HSR (https://github.com/microsoft/GPT-Enabled-HSR-CoSpeechGestures) verfügbar.

English

This technical paper introduces a chatting robot system that utilizes recent advancements in large-scale language models (LLMs) such as GPT-3 and ChatGPT. The system is integrated with a co-speech gesture generation system, which selects appropriate gestures based on the conceptual meaning of speech. Our motivation is to explore ways of utilizing the recent progress in LLMs for practical robotic applications, which benefits the development of both chatbots and LLMs. Specifically, it enables the development of highly responsive chatbot systems by leveraging LLMs and adds visual effects to the user interface of LLMs as an additional value. The source code for the system is available on GitHub for our in-house robot (https://github.com/microsoft/LabanotationSuite/tree/master/MSRAbotChatSimulation) and GitHub for Toyota HSR (https://github.com/microsoft/GPT-Enabled-HSR-CoSpeechGestures).