Un Modello Fondamentale di Agente Interattivo

An Interactive Agent Foundation Model

February 8, 2024

Autori: Zane Durante, Bidipta Sarkar, Ran Gong, Rohan Taori, Yusuke Noda, Paul Tang, Ehsan Adeli, Shrinidhi Kowshika Lakshmikanth, Kevin Schulman, Arnold Milstein, Demetri Terzopoulos, Ade Famoti, Noboru Kuno, Ashley Llorens, Hoi Vo, Katsu Ikeuchi, Li Fei-Fei, Jianfeng Gao, Naoki Wake, Qiuyuan Huang

cs.AI

Abstract

Lo sviluppo dei sistemi di intelligenza artificiale sta transitando dalla creazione di modelli statici e specifici per singoli compiti a sistemi dinamici basati su agenti, capaci di performare efficacemente in un'ampia gamma di applicazioni. Proponiamo un Modello Fondamentale di Agente Interattivo che utilizza un paradigma innovativo di addestramento multi-task per formare agenti AI in diversi domini, dataset e compiti. Il nostro paradigma di addestramento unifica diverse strategie di pre-training, tra cui auto-encoder mascherati per dati visivi, modellazione del linguaggio e predizione della prossima azione, consentendo un framework AI versatile e adattabile. Dimostriamo le prestazioni del nostro framework in tre domini distinti: Robotica, AI per giochi e Sanità. Il nostro modello dimostra la capacità di generare output significativi e contestualmente rilevanti in ciascun ambito. La forza del nostro approccio risiede nella sua generalità, sfruttando una varietà di fonti dati come sequenze robotiche, dati di gameplay, dataset video su larga scala e informazioni testuali per un apprendimento multimodale e multi-task efficace. Il nostro approccio offre una promettente direzione per lo sviluppo di sistemi generalisti, orientati all'azione e multimodali.

English

The development of artificial intelligence systems is transitioning from creating static, task-specific models to dynamic, agent-based systems capable of performing well in a wide range of applications. We propose an Interactive Agent Foundation Model that uses a novel multi-task agent training paradigm for training AI agents across a wide range of domains, datasets, and tasks. Our training paradigm unifies diverse pre-training strategies, including visual masked auto-encoders, language modeling, and next-action prediction, enabling a versatile and adaptable AI framework. We demonstrate the performance of our framework across three separate domains -- Robotics, Gaming AI, and Healthcare. Our model demonstrates its ability to generate meaningful and contextually relevant outputs in each area. The strength of our approach lies in its generality, leveraging a variety of data sources such as robotics sequences, gameplay data, large-scale video datasets, and textual information for effective multimodal and multi-task learning. Our approach provides a promising avenue for developing generalist, action-taking, multimodal systems.