Alexa, 로봇과 함께 놀자: 첫 번째 Alexa Prize SimBot 챌린지, 구현된 AI 소개

초록

Alexa Prize 프로그램은 SocialBot Grand Challenge와 TaskBot Challenge와 같은 도전 과제를 통해 대학생들이 대화형 에이전트를 구축하는 데 있어 자신의 재능을 탐구하고 실험하며 선보일 수 있는 기회를 제공해 왔습니다. 대화형 에이전트가 점점 더 멀티모달 및 구체화된 환경에서 등장함에 따라, 컴퓨터 비전과 물리적 구체화를 통해 강화된 대화형 상호작용의 가능성을 탐구하는 것이 중요해졌습니다. 본 논문은 대학 팀들이 시뮬레이션된 물리적 환경에서 작업을 완료하는 로봇 어시스턴트를 구축하기 위해 경쟁하는 새로운 도전 과제인 SimBot Challenge를 소개합니다. 이 논문은 온라인 및 오프라인 도전 단계를 포함한 SimBot Challenge의 개요를 제공합니다. 또한, 팀들에게 제공된 인프라와 지원, 즉 시뮬레이션 환경인 Alexa Arena와 비전 및 언어 모델 구축을 가속화하기 위해 제공된 ML 툴킷에 대해 설명합니다. 참가 팀들이 연구 도전 과제를 극복하기 위해 취한 접근 방식을 요약하고, 주요 교훈을 추출합니다. 마지막으로, 경쟁 중인 SimBot의 성능에 대한 분석을 제공합니다.

English

The Alexa Prize program has empowered numerous university students to explore, experiment, and showcase their talents in building conversational agents through challenges like the SocialBot Grand Challenge and the TaskBot Challenge. As conversational agents increasingly appear in multimodal and embodied contexts, it is important to explore the affordances of conversational interaction augmented with computer vision and physical embodiment. This paper describes the SimBot Challenge, a new challenge in which university teams compete to build robot assistants that complete tasks in a simulated physical environment. This paper provides an overview of the SimBot Challenge, which included both online and offline challenge phases. We describe the infrastructure and support provided to the teams including Alexa Arena, the simulated environment, and the ML toolkit provided to teams to accelerate their building of vision and language models. We summarize the approaches the participating teams took to overcome research challenges and extract key lessons learned. Finally, we provide analysis of the performance of the competing SimBots during the competition.

Alexa, 로봇과 함께 놀자: 첫 번째 Alexa Prize SimBot 챌린지, 구현된 AI 소개

Alexa, play with robot: Introducing the First Alexa Prize SimBot Challenge on Embodied AI

초록

Support