Magma : Un modèle fondateur pour les agents d'IA multimodaux

Magma: A Foundation Model for Multimodal AI Agents

February 18, 2025

Auteurs: Jianwei Yang, Reuben Tan, Qianhui Wu, Ruijie Zheng, Baolin Peng, Yongyuan Liang, Yu Gu, Mu Cai, Seonghyeon Ye, Joel Jang, Yuquan Deng, Lars Liden, Jianfeng Gao

cs.AI

Résumé

Nous présentons Magma, un modèle fondationnel qui accomplit des tâches d'agents IA multimodales dans les mondes numérique et physique. Magma constitue une extension significative des modèles vision-langage (VL) en ce qu'il conserve non seulement la capacité de compréhension VL (intelligence verbale) de ces derniers, mais est également doté de la capacité à planifier et agir dans le monde visuo-spatial (intelligence spatio-temporelle) et à accomplir des tâches agentiques allant de la navigation d'interface utilisateur à la manipulation robotique. Pour doter Magma de ces capacités agentiques, il est pré-entraîné sur de vastes ensembles de données hétérogènes couvrant des images, des vidéos et des données robotiques, où les objets visuels actionnables (par exemple, des boutons cliquables dans une interface graphique) dans les images sont annotés par Set-of-Mark (SoM) pour l'ancrage des actions, et les mouvements d'objets (par exemple, la trajectoire des mains humaines ou des bras robotiques) dans les vidéos sont annotés par Trace-of-Mark (ToM) pour la planification des actions. Des expériences approfondies montrent que SoM et ToM atteignent une grande synergie et facilitent l'acquisition de l'intelligence spatio-temporelle pour notre modèle Magma, qui est fondamentale pour une large gamme de tâches, comme illustré dans la Fig.1. En particulier, Magma établit de nouveaux records sur les tâches de navigation d'interface utilisateur et de manipulation robotique, surpassant les modèles précédents spécialement conçus pour ces tâches. Sur les tâches multimodales liées aux images et aux vidéos, Magma se compare également favorablement aux grands modèles multimodaux populaires entraînés sur des ensembles de données bien plus vastes. Nous rendons notre modèle et notre code publics pour assurer la reproductibilité à l'adresse https://microsoft.github.io/Magma.

English

We present Magma, a foundation model that serves multimodal AI agentic tasks in both the digital and physical worlds. Magma is a significant extension of vision-language (VL) models in that it not only retains the VL understanding ability (verbal intelligence) of the latter, but is also equipped with the ability to plan and act in the visual-spatial world (spatial-temporal intelligence) and complete agentic tasks ranging from UI navigation to robot manipulation. To endow the agentic capabilities, Magma is pretrained on large amounts of heterogeneous datasets spanning from images, videos to robotics data, where the actionable visual objects (e.g., clickable buttons in GUI) in images are labeled by Set-of-Mark (SoM) for action grounding, and the object movements (e.g., the trace of human hands or robotic arms) in videos are labeled by Trace-of-Mark (ToM) for action planning. Extensive experiments show that SoM and ToM reach great synergy and facilitate the acquisition of spatial-temporal intelligence for our Magma model, which is fundamental to a wide range of tasks as shown in Fig.1. In particular, Magma creates new state-of-the-art results on UI navigation and robotic manipulation tasks, outperforming previous models that are specifically tailored to these tasks. On image and video-related multimodal tasks, Magma also compares favorably to popular large multimodal models that are trained on much larger datasets. We make our model and code public for reproducibility at https://microsoft.github.io/Magma.