Ein interaktives Agenten-Grundmodell

An Interactive Agent Foundation Model

February 8, 2024

Autoren: Zane Durante, Bidipta Sarkar, Ran Gong, Rohan Taori, Yusuke Noda, Paul Tang, Ehsan Adeli, Shrinidhi Kowshika Lakshmikanth, Kevin Schulman, Arnold Milstein, Demetri Terzopoulos, Ade Famoti, Noboru Kuno, Ashley Llorens, Hoi Vo, Katsu Ikeuchi, Li Fei-Fei, Jianfeng Gao, Naoki Wake, Qiuyuan Huang

cs.AI

Zusammenfassung

Die Entwicklung von künstlichen Intelligenzsystemen vollzieht derzeit einen Wandel von der Erstellung statischer, aufgabenbezogener Modelle hin zu dynamischen, agentenbasierten Systemen, die in einer Vielzahl von Anwendungen effektiv agieren können. Wir schlagen ein interaktives Agenten-Foundation-Modell vor, das ein neuartiges Multi-Task-Agenten-Trainingsparadigma nutzt, um KI-Agenten über verschiedene Domänen, Datensätze und Aufgaben hinweg zu trainieren. Unser Trainingsparadigma vereint diverse Vor-Trainingsstrategien, darunter visuelle maskierte Autoencoder, Sprachmodellierung und Vorhersage der nächsten Aktion, und ermöglicht so ein vielseitiges und anpassungsfähiges KI-Framework. Wir demonstrieren die Leistungsfähigkeit unseres Frameworks in drei separaten Domänen – Robotik, Gaming-KI und Gesundheitswesen. Unser Modell zeigt seine Fähigkeit, in jedem Bereich sinnvolle und kontextbezogene Ausgaben zu generieren. Die Stärke unseres Ansatzes liegt in seiner Allgemeingültigkeit, da er eine Vielzahl von Datenquellen wie Robotiksequenzen, Spieledaten, groß angelegte Videodatensätze und textuelle Informationen für effektives multimodales und Multi-Task-Lernen nutzt. Unser Ansatz bietet einen vielversprechenden Weg zur Entwicklung generalistischer, handlungsorientierter, multimodaler Systeme.

English

The development of artificial intelligence systems is transitioning from creating static, task-specific models to dynamic, agent-based systems capable of performing well in a wide range of applications. We propose an Interactive Agent Foundation Model that uses a novel multi-task agent training paradigm for training AI agents across a wide range of domains, datasets, and tasks. Our training paradigm unifies diverse pre-training strategies, including visual masked auto-encoders, language modeling, and next-action prediction, enabling a versatile and adaptable AI framework. We demonstrate the performance of our framework across three separate domains -- Robotics, Gaming AI, and Healthcare. Our model demonstrates its ability to generate meaningful and contextually relevant outputs in each area. The strength of our approach lies in its generality, leveraging a variety of data sources such as robotics sequences, gameplay data, large-scale video datasets, and textual information for effective multimodal and multi-task learning. Our approach provides a promising avenue for developing generalist, action-taking, multimodal systems.