GPT 모델과 로봇 응용의 만남: 동시 발화 제스처 채팅 시스템

GPT Models Meet Robotic Applications: Co-Speech Gesturing Chat System

May 10, 2023

저자: Naoki Wake, Atsushi Kanehira, Kazuhiro Sasabuchi, Jun Takamatsu, Katsushi Ikeuchi

cs.AI

초록

본 기술 논문은 GPT-3 및 ChatGPT와 같은 대규모 언어 모델(LLM)의 최신 발전을 활용한 채팅 로봇 시스템을 소개한다. 이 시스템은 발화의 개념적 의미를 기반으로 적절한 제스처를 선택하는 동시 발화 제스처 생성 시스템과 통합되어 있다. 우리의 목표는 LLM의 최신 발전을 실용적인 로봇 애플리케이션에 활용할 방법을 탐구함으로써, 채팅봇과 LLM의 개발 모두에 기여하는 것이다. 구체적으로, 이는 LLM을 활용하여 고도로 반응적인 채팅봇 시스템을 개발할 수 있게 하며, LLM의 사용자 인터페이스에 시각적 효과를 추가함으로써 부가적인 가치를 제공한다. 해당 시스템의 소스 코드는 Microsoft 내부 로봇용 GitHub(https://github.com/microsoft/LabanotationSuite/tree/master/MSRAbotChatSimulation)와 Toyota HSR용 GitHub(https://github.com/microsoft/GPT-Enabled-HSR-CoSpeechGestures)에서 확인할 수 있다.

English

This technical paper introduces a chatting robot system that utilizes recent advancements in large-scale language models (LLMs) such as GPT-3 and ChatGPT. The system is integrated with a co-speech gesture generation system, which selects appropriate gestures based on the conceptual meaning of speech. Our motivation is to explore ways of utilizing the recent progress in LLMs for practical robotic applications, which benefits the development of both chatbots and LLMs. Specifically, it enables the development of highly responsive chatbot systems by leveraging LLMs and adds visual effects to the user interface of LLMs as an additional value. The source code for the system is available on GitHub for our in-house robot (https://github.com/microsoft/LabanotationSuite/tree/master/MSRAbotChatSimulation) and GitHub for Toyota HSR (https://github.com/microsoft/GPT-Enabled-HSR-CoSpeechGestures).