Un modèle fondamental d'agent interactif

An Interactive Agent Foundation Model

February 8, 2024

Auteurs: Zane Durante, Bidipta Sarkar, Ran Gong, Rohan Taori, Yusuke Noda, Paul Tang, Ehsan Adeli, Shrinidhi Kowshika Lakshmikanth, Kevin Schulman, Arnold Milstein, Demetri Terzopoulos, Ade Famoti, Noboru Kuno, Ashley Llorens, Hoi Vo, Katsu Ikeuchi, Li Fei-Fei, Jianfeng Gao, Naoki Wake, Qiuyuan Huang

cs.AI

Résumé

Le développement des systèmes d'intelligence artificielle évolue de la création de modèles statiques et spécifiques à une tâche vers des systèmes dynamiques basés sur des agents capables de performer dans un large éventail d'applications. Nous proposons un Modèle Fondamental d'Agent Interactif qui utilise un nouveau paradigme d'entraînement multi-tâches pour former des agents d'IA dans divers domaines, ensembles de données et tâches. Notre paradigme d'entraînement unifie des stratégies de pré-entraînement variées, incluant des auto-encodeurs masqués visuels, la modélisation du langage et la prédiction de l'action suivante, permettant ainsi un cadre d'IA polyvalent et adaptable. Nous démontrons les performances de notre cadre dans trois domaines distincts — la robotique, l'IA pour les jeux et la santé. Notre modèle montre sa capacité à générer des résultats significatifs et pertinents dans chaque domaine. La force de notre approche réside dans sa généralité, exploitant diverses sources de données telles que des séquences robotiques, des données de jeu, des ensembles de données vidéo à grande échelle et des informations textuelles pour un apprentissage multimodal et multi-tâches efficace. Notre approche ouvre une voie prometteuse pour le développement de systèmes généralistes, prenant des actions et multimodaux.

English

The development of artificial intelligence systems is transitioning from creating static, task-specific models to dynamic, agent-based systems capable of performing well in a wide range of applications. We propose an Interactive Agent Foundation Model that uses a novel multi-task agent training paradigm for training AI agents across a wide range of domains, datasets, and tasks. Our training paradigm unifies diverse pre-training strategies, including visual masked auto-encoders, language modeling, and next-action prediction, enabling a versatile and adaptable AI framework. We demonstrate the performance of our framework across three separate domains -- Robotics, Gaming AI, and Healthcare. Our model demonstrates its ability to generate meaningful and contextually relevant outputs in each area. The strength of our approach lies in its generality, leveraging a variety of data sources such as robotics sequences, gameplay data, large-scale video datasets, and textual information for effective multimodal and multi-task learning. Our approach provides a promising avenue for developing generalist, action-taking, multimodal systems.