Een Interactief Agent Fundament Model

An Interactive Agent Foundation Model

February 8, 2024

Auteurs: Zane Durante, Bidipta Sarkar, Ran Gong, Rohan Taori, Yusuke Noda, Paul Tang, Ehsan Adeli, Shrinidhi Kowshika Lakshmikanth, Kevin Schulman, Arnold Milstein, Demetri Terzopoulos, Ade Famoti, Noboru Kuno, Ashley Llorens, Hoi Vo, Katsu Ikeuchi, Li Fei-Fei, Jianfeng Gao, Naoki Wake, Qiuyuan Huang

cs.AI

Samenvatting

De ontwikkeling van kunstmatige intelligentiesystemen maakt een overgang door van het creëren van statische, taakspecifieke modellen naar dynamische, agent-gebaseerde systemen die goed presteren in een breed scala aan toepassingen. Wij stellen een Interactief Agent Foundation Model voor dat gebruikmaakt van een nieuw multi-task agent-trainingsparadigma voor het trainen van AI-agenten over een breed scala aan domeinen, datasets en taken. Ons trainingsparadigma verenigt diverse pre-trainingsstrategieën, waaronder visuele gemaskeerde auto-encoders, taalmodellering en volgende-actievoorspelling, waardoor een veelzijdig en aanpasbaar AI-raamwerk mogelijk wordt. We demonstreren de prestaties van ons raamwerk in drie afzonderlijke domeinen: Robotica, Gaming AI en Gezondheidszorg. Ons model toont zijn vermogen om betekenisvolle en contextueel relevante uitvoer te genereren in elk van deze gebieden. De kracht van onze aanpak ligt in de algemeenheid, waarbij gebruik wordt gemaakt van diverse gegevensbronnen zoals robotica-sequenties, gameplaygegevens, grootschalige videodatasets en tekstuele informatie voor effectief multimodaal en multi-task leren. Onze aanpak biedt een veelbelovende weg voor de ontwikkeling van generalistische, actie-onderneemende, multimodale systemen.

English

The development of artificial intelligence systems is transitioning from creating static, task-specific models to dynamic, agent-based systems capable of performing well in a wide range of applications. We propose an Interactive Agent Foundation Model that uses a novel multi-task agent training paradigm for training AI agents across a wide range of domains, datasets, and tasks. Our training paradigm unifies diverse pre-training strategies, including visual masked auto-encoders, language modeling, and next-action prediction, enabling a versatile and adaptable AI framework. We demonstrate the performance of our framework across three separate domains -- Robotics, Gaming AI, and Healthcare. Our model demonstrates its ability to generate meaningful and contextually relevant outputs in each area. The strength of our approach lies in its generality, leveraging a variety of data sources such as robotics sequences, gameplay data, large-scale video datasets, and textual information for effective multimodal and multi-task learning. Our approach provides a promising avenue for developing generalist, action-taking, multimodal systems.