Modelli GPT incontrano le applicazioni robotiche: Sistema di chat con gestualità co-verbale

GPT Models Meet Robotic Applications: Co-Speech Gesturing Chat System

May 10, 2023

Autori: Naoki Wake, Atsushi Kanehira, Kazuhiro Sasabuchi, Jun Takamatsu, Katsushi Ikeuchi

cs.AI

Abstract

Questo articolo tecnico introduce un sistema di robot conversazionale che sfrutta i recenti progressi nei modelli linguistici su larga scala (LLM) come GPT-3 e ChatGPT. Il sistema è integrato con un generatore di gesti co-verbali, che seleziona i gesti appropriati in base al significato concettuale del discorso. La nostra motivazione è esplorare modi per utilizzare i recenti progressi negli LLM in applicazioni robotiche pratiche, il che avvantaggia lo sviluppo sia dei chatbot che degli LLM. Nello specifico, consente lo sviluppo di sistemi di chatbot altamente reattivi sfruttando gli LLM e aggiunge effetti visivi all'interfaccia utente degli LLM come valore aggiunto. Il codice sorgente del sistema è disponibile su GitHub per il nostro robot interno (https://github.com/microsoft/LabanotationSuite/tree/master/MSRAbotChatSimulation) e su GitHub per il Toyota HSR (https://github.com/microsoft/GPT-Enabled-HSR-CoSpeechGestures).

English

This technical paper introduces a chatting robot system that utilizes recent advancements in large-scale language models (LLMs) such as GPT-3 and ChatGPT. The system is integrated with a co-speech gesture generation system, which selects appropriate gestures based on the conceptual meaning of speech. Our motivation is to explore ways of utilizing the recent progress in LLMs for practical robotic applications, which benefits the development of both chatbots and LLMs. Specifically, it enables the development of highly responsive chatbot systems by leveraging LLMs and adds visual effects to the user interface of LLMs as an additional value. The source code for the system is available on GitHub for our in-house robot (https://github.com/microsoft/LabanotationSuite/tree/master/MSRAbotChatSimulation) and GitHub for Toyota HSR (https://github.com/microsoft/GPT-Enabled-HSR-CoSpeechGestures).