Alexa、ロボットと遊ぼう：エンボディードAIにおける初のAlexa Prize SimBotチャレンジの紹介

要旨

Alexa Prizeプログラムは、SocialBot Grand ChallengeやTaskBot Challengeなどの課題を通じて、多数の大学生が会話エージェントの構築において探求、実験、才能を発揮する機会を提供してきました。会話エージェントがマルチモーダルで具現化された文脈でますます登場する中、コンピュータビジョンや物理的具現化を強化した会話インタラクションの可能性を探ることが重要です。本論文では、大学チームがシミュレートされた物理環境でタスクを完了するロボットアシスタントを構築する新しいチャレンジであるSimBot Challengeについて説明します。本論文では、オンラインとオフラインの両方のチャレンジフェーズを含むSimBot Challengeの概要を提供します。チームに提供されたインフラストラクチャとサポート、Alexa Arena（シミュレーション環境）、およびビジョンと言語モデルの構築を加速するために提供されたMLツールキットについて説明します。参加チームが研究課題を克服するために取ったアプローチをまとめ、得られた主要な教訓を抽出します。最後に、競技中のSimBotsのパフォーマンスに関する分析を提供します。

English

The Alexa Prize program has empowered numerous university students to explore, experiment, and showcase their talents in building conversational agents through challenges like the SocialBot Grand Challenge and the TaskBot Challenge. As conversational agents increasingly appear in multimodal and embodied contexts, it is important to explore the affordances of conversational interaction augmented with computer vision and physical embodiment. This paper describes the SimBot Challenge, a new challenge in which university teams compete to build robot assistants that complete tasks in a simulated physical environment. This paper provides an overview of the SimBot Challenge, which included both online and offline challenge phases. We describe the infrastructure and support provided to the teams including Alexa Arena, the simulated environment, and the ML toolkit provided to teams to accelerate their building of vision and language models. We summarize the approaches the participating teams took to overcome research challenges and extract key lessons learned. Finally, we provide analysis of the performance of the competing SimBots during the competition.

Alexa、ロボットと遊ぼう：エンボディードAIにおける初のAlexa Prize SimBotチャレンジの紹介

Alexa, play with robot: Introducing the First Alexa Prize SimBot Challenge on Embodied AI

要旨

Support