Alexa, joue avec le robot : Présentation du premier défi SimBot Alexa Prize sur l'IA incarnée

Alexa, play with robot: Introducing the First Alexa Prize SimBot Challenge on Embodied AI

August 9, 2023

Auteurs: Hangjie Shi, Leslie Ball, Govind Thattai, Desheng Zhang, Lucy Hu, Qiaozi Gao, Suhaila Shakiah, Xiaofeng Gao, Aishwarya Padmakumar, Bofei Yang, Cadence Chung, Dinakar Guthy, Gaurav Sukhatme, Karthika Arumugam, Matthew Wen, Osman Ipek, Patrick Lange, Rohan Khanna, Shreyas Pansare, Vasu Sharma, Chao Zhang, Cris Flagg, Daniel Pressel, Lavina Vaz, Luke Dai, Prasoon Goyal, Sattvik Sahai, Shaohua Liu, Yao Lu, Anna Gottardi, Shui Hu, Yang Liu, Dilek Hakkani-Tur, Kate Bland, Heather Rocker, James Jeun, Yadunandana Rao, Michael Johnston, Akshaya Iyengar, Arindam Mandal, Prem Natarajan, Reza Ghanadan

cs.AI

Résumé

Le programme Alexa Prize a permis à de nombreux étudiants universitaires d'explorer, d'expérimenter et de mettre en valeur leurs talents dans la construction d'agents conversationnels à travers des défis tels que le SocialBot Grand Challenge et le TaskBot Challenge. Alors que les agents conversationnels apparaissent de plus en plus dans des contextes multimodaux et incarnés, il est important d'explorer les potentialités de l'interaction conversationnelle enrichie par la vision par ordinateur et l'incarnation physique. Cet article décrit le SimBot Challenge, un nouveau défi dans lequel des équipes universitaires s'affrontent pour construire des assistants robotiques capables d'accomplir des tâches dans un environnement physique simulé. Cet article propose un aperçu du SimBot Challenge, qui comprenait à la fois des phases de défi en ligne et hors ligne. Nous décrivons l'infrastructure et le soutien fournis aux équipes, notamment Alexa Arena, l'environnement simulé, et la boîte à outils de machine learning mise à leur disposition pour accélérer la construction de modèles de vision et de langage. Nous résumons les approches adoptées par les équipes participantes pour surmonter les défis de recherche et en tirons des enseignements clés. Enfin, nous analysons la performance des SimBots en compétition lors du défi.

English

The Alexa Prize program has empowered numerous university students to explore, experiment, and showcase their talents in building conversational agents through challenges like the SocialBot Grand Challenge and the TaskBot Challenge. As conversational agents increasingly appear in multimodal and embodied contexts, it is important to explore the affordances of conversational interaction augmented with computer vision and physical embodiment. This paper describes the SimBot Challenge, a new challenge in which university teams compete to build robot assistants that complete tasks in a simulated physical environment. This paper provides an overview of the SimBot Challenge, which included both online and offline challenge phases. We describe the infrastructure and support provided to the teams including Alexa Arena, the simulated environment, and the ML toolkit provided to teams to accelerate their building of vision and language models. We summarize the approaches the participating teams took to overcome research challenges and extract key lessons learned. Finally, we provide analysis of the performance of the competing SimBots during the competition.