다양한 시뮬레이션 세계에서 지시 가능 에이전트의 확장

Scaling Instructable Agents Across Many Simulated Worlds

March 13, 2024

저자: SIMA Team, Maria Abi Raad, Arun Ahuja, Catarina Barros, Frederic Besse, Andrew Bolt, Adrian Bolton, Bethanie Brownfield, Gavin Buttimore, Max Cant, Sarah Chakera, Stephanie C. Y. Chan, Jeff Clune, Adrian Collister, Vikki Copeman, Alex Cullum, Ishita Dasgupta, Dario de Cesare, Julia Di Trapani, Yani Donchev, Emma Dunleavy, Martin Engelcke, Ryan Faulkner, Frankie Garcia, Charles Gbadamosi, Zhitao Gong, Lucy Gonzales, Karol Gregor, Arne Olav Hallingstad, Tim Harley, Sam Haves, Felix Hill, Ed Hirst, Drew A. Hudson, Steph Hughes-Fitt, Danilo J. Rezende, Mimi Jasarevic, Laura Kampis, Rosemary Ke, Thomas Keck, Junkyung Kim, Oscar Knagg, Kavya Kopparapu, Andrew Lampinen, Shane Legg, Alexander Lerchner, Marjorie Limont, Yulan Liu, Maria Loks-Thompson, Joseph Marino, Kathryn Martin Cussons, Loic Matthey, Siobhan Mcloughlin, Piermaria Mendolicchio, Hamza Merzic, Anna Mitenkova, Alexandre Moufarek, Valeria Oliveira, Yanko Oliveira, Hannah Openshaw, Renke Pan, Aneesh Pappu, Alex Platonov, Ollie Purkiss, David Reichert, John Reid, Pierre Harvey Richemond, Tyson Roberts, Giles Ruscoe, Jaume Sanchez Elias, Tasha Sandars, Daniel P. Sawyer, Tim Scholtes, Guy Simmons, Daniel Slater, Hubert Soyer, Heiko Strathmann, Peter Stys, Allison C. Tam, Denis Teplyashin, Tayfun Terzi, Davide Vercelli, Bojan Vujatovic, Marcus Wainwright, Jane X. Wang, Zhengdong Wang, Daan Wierstra, Duncan Williams, Nathaniel Wong, Sarah York, Nick Young

cs.AI

초록

임의의 언어 지시를 어떤 3D 환경에서든 따를 수 있는 구체화된 AI 시스템을 구축하는 것은 일반 AI를 창조하기 위한 핵심 과제입니다. 이 목표를 달성하기 위해서는 복잡한 작업을 수행하기 위해 언어를 지각과 구체화된 행동에 기반을 두는 방법을 학습해야 합니다. 확장 가능하고 지시 가능하며 다중 세계 에이전트(Scalable, Instructable, Multiworld Agent, SIMA) 프로젝트는 다양한 가상 3D 환경에서 자유 형식의 지시를 따르도록 에이전트를 훈련함으로써 이 문제를 해결합니다. 여기에는 선별된 연구 환경과 개방형 상용 비디오 게임이 포함됩니다. 우리의 목표는 시뮬레이션된 3D 환경에서 인간이 할 수 있는 모든 작업을 수행할 수 있는 지시 가능한 에이전트를 개발하는 것입니다. 우리의 접근 방식은 언어 주도의 일반성에 초점을 맞추면서 최소한의 가정만을 전제로 합니다. 우리의 에이전트는 일반적인 인간과 유사한 인터페이스를 사용하여 실시간으로 환경과 상호작용합니다: 입력은 이미지 관찰과 언어 지시이며, 출력은 키보드와 마우스 동작입니다. 이 일반적인 접근 방식은 도전적이지만, 에이전트가 시각적으로 복잡하고 의미론적으로 풍부한 다양한 환경에서 언어를 기반으로 할 수 있게 하며, 새로운 환경에서도 쉽게 에이전트를 실행할 수 있게 합니다. 이 논문에서 우리는 동기와 목표, 초기 진행 상황, 그리고 여러 다양한 연구 환경과 다양한 상용 비디오 게임에서의 유망한 예비 결과를 설명합니다.

English

Building embodied AI systems that can follow arbitrary language instructions in any 3D environment is a key challenge for creating general AI. Accomplishing this goal requires learning to ground language in perception and embodied actions, in order to accomplish complex tasks. The Scalable, Instructable, Multiworld Agent (SIMA) project tackles this by training agents to follow free-form instructions across a diverse range of virtual 3D environments, including curated research environments as well as open-ended, commercial video games. Our goal is to develop an instructable agent that can accomplish anything a human can do in any simulated 3D environment. Our approach focuses on language-driven generality while imposing minimal assumptions. Our agents interact with environments in real-time using a generic, human-like interface: the inputs are image observations and language instructions and the outputs are keyboard-and-mouse actions. This general approach is challenging, but it allows agents to ground language across many visually complex and semantically rich environments while also allowing us to readily run agents in new environments. In this paper we describe our motivation and goal, the initial progress we have made, and promising preliminary results on several diverse research environments and a variety of commercial video games.