Alexa, juega con el robot: Presentando el Primer Desafío SimBot del Alexa Prize sobre IA Embebida
Alexa, play with robot: Introducing the First Alexa Prize SimBot Challenge on Embodied AI
August 9, 2023
Autores: Hangjie Shi, Leslie Ball, Govind Thattai, Desheng Zhang, Lucy Hu, Qiaozi Gao, Suhaila Shakiah, Xiaofeng Gao, Aishwarya Padmakumar, Bofei Yang, Cadence Chung, Dinakar Guthy, Gaurav Sukhatme, Karthika Arumugam, Matthew Wen, Osman Ipek, Patrick Lange, Rohan Khanna, Shreyas Pansare, Vasu Sharma, Chao Zhang, Cris Flagg, Daniel Pressel, Lavina Vaz, Luke Dai, Prasoon Goyal, Sattvik Sahai, Shaohua Liu, Yao Lu, Anna Gottardi, Shui Hu, Yang Liu, Dilek Hakkani-Tur, Kate Bland, Heather Rocker, James Jeun, Yadunandana Rao, Michael Johnston, Akshaya Iyengar, Arindam Mandal, Prem Natarajan, Reza Ghanadan
cs.AI
Resumen
El programa Alexa Prize ha permitido que numerosos estudiantes universitarios exploren, experimenten y muestren su talento en la creación de agentes conversacionales a través de desafíos como el SocialBot Grand Challenge y el TaskBot Challenge. A medida que los agentes conversacionales aparecen cada vez más en contextos multimodales y corporizados, es importante explorar las posibilidades de la interacción conversacional aumentada con visión por computadora y encarnación física. Este artículo describe el SimBot Challenge, un nuevo desafío en el que equipos universitarios compiten para construir asistentes robóticos que completen tareas en un entorno físico simulado. Este artículo ofrece una visión general del SimBot Challenge, que incluyó fases de desafío tanto en línea como fuera de línea. Describimos la infraestructura y el apoyo proporcionado a los equipos, incluyendo Alexa Arena, el entorno simulado y el kit de herramientas de aprendizaje automático proporcionado a los equipos para acelerar la construcción de sus modelos de visión y lenguaje. Resumimos los enfoques que los equipos participantes adoptaron para superar los desafíos de investigación y extraemos lecciones clave aprendidas. Finalmente, proporcionamos un análisis del desempeño de los SimBots competidores durante la competición.
English
The Alexa Prize program has empowered numerous university students to
explore, experiment, and showcase their talents in building conversational
agents through challenges like the SocialBot Grand Challenge and the TaskBot
Challenge. As conversational agents increasingly appear in multimodal and
embodied contexts, it is important to explore the affordances of conversational
interaction augmented with computer vision and physical embodiment. This paper
describes the SimBot Challenge, a new challenge in which university teams
compete to build robot assistants that complete tasks in a simulated physical
environment. This paper provides an overview of the SimBot Challenge, which
included both online and offline challenge phases. We describe the
infrastructure and support provided to the teams including Alexa Arena, the
simulated environment, and the ML toolkit provided to teams to accelerate their
building of vision and language models. We summarize the approaches the
participating teams took to overcome research challenges and extract key
lessons learned. Finally, we provide analysis of the performance of the
competing SimBots during the competition.