Alexa, spiel mit dem Roboter: Vorstellung der ersten Alexa Prize SimBot Challenge zu Embodied AI

Alexa, play with robot: Introducing the First Alexa Prize SimBot Challenge on Embodied AI

August 9, 2023

Autoren: Hangjie Shi, Leslie Ball, Govind Thattai, Desheng Zhang, Lucy Hu, Qiaozi Gao, Suhaila Shakiah, Xiaofeng Gao, Aishwarya Padmakumar, Bofei Yang, Cadence Chung, Dinakar Guthy, Gaurav Sukhatme, Karthika Arumugam, Matthew Wen, Osman Ipek, Patrick Lange, Rohan Khanna, Shreyas Pansare, Vasu Sharma, Chao Zhang, Cris Flagg, Daniel Pressel, Lavina Vaz, Luke Dai, Prasoon Goyal, Sattvik Sahai, Shaohua Liu, Yao Lu, Anna Gottardi, Shui Hu, Yang Liu, Dilek Hakkani-Tur, Kate Bland, Heather Rocker, James Jeun, Yadunandana Rao, Michael Johnston, Akshaya Iyengar, Arindam Mandal, Prem Natarajan, Reza Ghanadan

cs.AI

Zusammenfassung

Das Alexa Prize-Programm hat zahlreiche Universitätsstudierende dazu befähigt, ihre Talente im Aufbau von Konversationsagenten durch Herausforderungen wie die SocialBot Grand Challenge und die TaskBot Challenge zu erforschen, zu experimentieren und unter Beweis zu stellen. Da Konversationsagenten zunehmend in multimodalen und verkörperten Kontexten auftreten, ist es wichtig, die Möglichkeiten der konversationellen Interaktion zu untersuchen, die durch Computer Vision und physische Verkörperung erweitert wird. Dieses Papier beschreibt die SimBot Challenge, eine neue Herausforderung, bei der Universitätsteams darum wetteifern, Roboterassistenten zu entwickeln, die Aufgaben in einer simulierten physischen Umgebung erledigen. Das Papier bietet einen Überblick über die SimBot Challenge, die sowohl Online- als auch Offline-Herausforderungsphasen umfasste. Wir beschreiben die Infrastruktur und Unterstützung, die den Teams zur Verfügung gestellt wurde, einschließlich Alexa Arena, der simulierten Umgebung und des ML-Toolkits, das den Teams zur Verfügung gestellt wurde, um den Aufbau von Vision- und Sprachmodellen zu beschleunigen. Wir fassen die Ansätze zusammen, die die teilnehmenden Teams zur Bewältigung von Forschungsherausforderungen gewählt haben, und extrahieren wichtige Erkenntnisse. Schließlich bieten wir eine Analyse der Leistung der konkurrierenden SimBots während des Wettbewerbs.

English

The Alexa Prize program has empowered numerous university students to explore, experiment, and showcase their talents in building conversational agents through challenges like the SocialBot Grand Challenge and the TaskBot Challenge. As conversational agents increasingly appear in multimodal and embodied contexts, it is important to explore the affordances of conversational interaction augmented with computer vision and physical embodiment. This paper describes the SimBot Challenge, a new challenge in which university teams compete to build robot assistants that complete tasks in a simulated physical environment. This paper provides an overview of the SimBot Challenge, which included both online and offline challenge phases. We describe the infrastructure and support provided to the teams including Alexa Arena, the simulated environment, and the ML toolkit provided to teams to accelerate their building of vision and language models. We summarize the approaches the participating teams took to overcome research challenges and extract key lessons learned. Finally, we provide analysis of the performance of the competing SimBots during the competition.