Mise à l'échelle d'agents instructables à travers de nombreux mondes simulés

Scaling Instructable Agents Across Many Simulated Worlds

March 13, 2024

Auteurs: SIMA Team, Maria Abi Raad, Arun Ahuja, Catarina Barros, Frederic Besse, Andrew Bolt, Adrian Bolton, Bethanie Brownfield, Gavin Buttimore, Max Cant, Sarah Chakera, Stephanie C. Y. Chan, Jeff Clune, Adrian Collister, Vikki Copeman, Alex Cullum, Ishita Dasgupta, Dario de Cesare, Julia Di Trapani, Yani Donchev, Emma Dunleavy, Martin Engelcke, Ryan Faulkner, Frankie Garcia, Charles Gbadamosi, Zhitao Gong, Lucy Gonzales, Karol Gregor, Arne Olav Hallingstad, Tim Harley, Sam Haves, Felix Hill, Ed Hirst, Drew A. Hudson, Steph Hughes-Fitt, Danilo J. Rezende, Mimi Jasarevic, Laura Kampis, Rosemary Ke, Thomas Keck, Junkyung Kim, Oscar Knagg, Kavya Kopparapu, Andrew Lampinen, Shane Legg, Alexander Lerchner, Marjorie Limont, Yulan Liu, Maria Loks-Thompson, Joseph Marino, Kathryn Martin Cussons, Loic Matthey, Siobhan Mcloughlin, Piermaria Mendolicchio, Hamza Merzic, Anna Mitenkova, Alexandre Moufarek, Valeria Oliveira, Yanko Oliveira, Hannah Openshaw, Renke Pan, Aneesh Pappu, Alex Platonov, Ollie Purkiss, David Reichert, John Reid, Pierre Harvey Richemond, Tyson Roberts, Giles Ruscoe, Jaume Sanchez Elias, Tasha Sandars, Daniel P. Sawyer, Tim Scholtes, Guy Simmons, Daniel Slater, Hubert Soyer, Heiko Strathmann, Peter Stys, Allison C. Tam, Denis Teplyashin, Tayfun Terzi, Davide Vercelli, Bojan Vujatovic, Marcus Wainwright, Jane X. Wang, Zhengdong Wang, Daan Wierstra, Duncan Williams, Nathaniel Wong, Sarah York, Nick Young

cs.AI

Résumé

La construction de systèmes d'IA incarnée capables de suivre des instructions linguistiques arbitraires dans n'importe quel environnement 3D constitue un défi majeur pour la création d'une IA générale. Atteindre cet objectif nécessite d'apprendre à ancrer le langage dans la perception et les actions incarnées, afin d'accomplir des tâches complexes. Le projet Scalable, Instructable, Multiworld Agent (SIMA) aborde ce problème en entraînant des agents à suivre des instructions libres dans une diversité d'environnements virtuels 3D, incluant des environnements de recherche soigneusement conçus ainsi que des jeux vidéo commerciaux ouverts. Notre objectif est de développer un agent instructable capable d'accomplir tout ce qu'un humain peut faire dans n'importe quel environnement simulé en 3D. Notre approche se concentre sur la généralité pilotée par le langage tout en imposant des hypothèses minimales. Nos agents interagissent avec les environnements en temps réel via une interface générique et humaine : les entrées sont des observations visuelles et des instructions linguistiques, et les sorties sont des actions clavier-souris. Cette approche générale est complexe, mais elle permet aux agents d'ancrer le langage dans de nombreux environnements visuellement complexes et sémantiquement riches, tout en nous permettant de déployer facilement les agents dans de nouveaux environnements. Dans cet article, nous décrivons notre motivation et notre objectif, les progrès initiaux réalisés, ainsi que des résultats préliminaires prometteurs sur plusieurs environnements de recherche variés et une gamme de jeux vidéo commerciaux.

English

Building embodied AI systems that can follow arbitrary language instructions in any 3D environment is a key challenge for creating general AI. Accomplishing this goal requires learning to ground language in perception and embodied actions, in order to accomplish complex tasks. The Scalable, Instructable, Multiworld Agent (SIMA) project tackles this by training agents to follow free-form instructions across a diverse range of virtual 3D environments, including curated research environments as well as open-ended, commercial video games. Our goal is to develop an instructable agent that can accomplish anything a human can do in any simulated 3D environment. Our approach focuses on language-driven generality while imposing minimal assumptions. Our agents interact with environments in real-time using a generic, human-like interface: the inputs are image observations and language instructions and the outputs are keyboard-and-mouse actions. This general approach is challenging, but it allows agents to ground language across many visually complex and semantically rich environments while also allowing us to readily run agents in new environments. In this paper we describe our motivation and goal, the initial progress we have made, and promising preliminary results on several diverse research environments and a variety of commercial video games.