Un Modelo Fundacional de Agente Interactivo

An Interactive Agent Foundation Model

February 8, 2024

Autores: Zane Durante, Bidipta Sarkar, Ran Gong, Rohan Taori, Yusuke Noda, Paul Tang, Ehsan Adeli, Shrinidhi Kowshika Lakshmikanth, Kevin Schulman, Arnold Milstein, Demetri Terzopoulos, Ade Famoti, Noboru Kuno, Ashley Llorens, Hoi Vo, Katsu Ikeuchi, Li Fei-Fei, Jianfeng Gao, Naoki Wake, Qiuyuan Huang

cs.AI

Resumen

El desarrollo de sistemas de inteligencia artificial está evolucionando desde la creación de modelos estáticos y específicos para tareas hacia sistemas dinámicos basados en agentes capaces de desempeñarse eficazmente en una amplia gama de aplicaciones. Proponemos un Modelo Fundacional de Agente Interactivo que utiliza un paradigma novedoso de entrenamiento de agentes multitarea para capacitar agentes de IA en diversos dominios, conjuntos de datos y tareas. Nuestro paradigma de entrenamiento unifica diversas estrategias de preentrenamiento, incluyendo auto-codificadores enmascarados visuales, modelado de lenguaje y predicción de la siguiente acción, permitiendo un marco de IA versátil y adaptable. Demostramos el rendimiento de nuestro marco en tres dominios distintos: Robótica, IA para Juegos y Salud. Nuestro modelo muestra su capacidad para generar resultados significativos y contextualmente relevantes en cada área. La fortaleza de nuestro enfoque radica en su generalidad, aprovechando diversas fuentes de datos, como secuencias robóticas, datos de juego, conjuntos de datos de video a gran escala e información textual, para un aprendizaje multimodal y multitarea efectivo. Nuestro enfoque ofrece una vía prometedora para el desarrollo de sistemas generalistas, orientados a la acción y multimodales.

English

The development of artificial intelligence systems is transitioning from creating static, task-specific models to dynamic, agent-based systems capable of performing well in a wide range of applications. We propose an Interactive Agent Foundation Model that uses a novel multi-task agent training paradigm for training AI agents across a wide range of domains, datasets, and tasks. Our training paradigm unifies diverse pre-training strategies, including visual masked auto-encoders, language modeling, and next-action prediction, enabling a versatile and adaptable AI framework. We demonstrate the performance of our framework across three separate domains -- Robotics, Gaming AI, and Healthcare. Our model demonstrates its ability to generate meaningful and contextually relevant outputs in each area. The strength of our approach lies in its generality, leveraging a variety of data sources such as robotics sequences, gameplay data, large-scale video datasets, and textual information for effective multimodal and multi-task learning. Our approach provides a promising avenue for developing generalist, action-taking, multimodal systems.