Модели GPT в робототехнических приложениях: система жестикуляции в режиме реального времени для чат-ботов

GPT Models Meet Robotic Applications: Co-Speech Gesturing Chat System

May 10, 2023

Авторы: Naoki Wake, Atsushi Kanehira, Kazuhiro Sasabuchi, Jun Takamatsu, Katsushi Ikeuchi

cs.AI

Аннотация

В данной технической статье представлена система чат-бота, которая использует последние достижения в области крупномасштабных языковых моделей (LLM), таких как GPT-3 и ChatGPT. Система интегрирована с генератором сопутствующих жестов, который выбирает подходящие жесты на основе концептуального смысла речи. Наша цель — исследовать способы применения последних достижений в области LLM для практических робототехнических приложений, что способствует развитию как чат-ботов, так и самих LLM. В частности, это позволяет создавать высокоотзывчивые системы чат-ботов, используя LLM, и добавляет визуальные эффекты в пользовательский интерфейс LLM в качестве дополнительной ценности. Исходный код системы доступен на GitHub для нашего внутреннего робота (https://github.com/microsoft/LabanotationSuite/tree/master/MSRAbotChatSimulation) и на GitHub для робота Toyota HSR (https://github.com/microsoft/GPT-Enabled-HSR-CoSpeechGestures).

English

This technical paper introduces a chatting robot system that utilizes recent advancements in large-scale language models (LLMs) such as GPT-3 and ChatGPT. The system is integrated with a co-speech gesture generation system, which selects appropriate gestures based on the conceptual meaning of speech. Our motivation is to explore ways of utilizing the recent progress in LLMs for practical robotic applications, which benefits the development of both chatbots and LLMs. Specifically, it enables the development of highly responsive chatbot systems by leveraging LLMs and adds visual effects to the user interface of LLMs as an additional value. The source code for the system is available on GitHub for our in-house robot (https://github.com/microsoft/LabanotationSuite/tree/master/MSRAbotChatSimulation) and GitHub for Toyota HSR (https://github.com/microsoft/GPT-Enabled-HSR-CoSpeechGestures).