Magma: Een Fundamentmodel voor Multimodale AI-Agenten

Magma: A Foundation Model for Multimodal AI Agents

February 18, 2025

Auteurs: Jianwei Yang, Reuben Tan, Qianhui Wu, Ruijie Zheng, Baolin Peng, Yongyuan Liang, Yu Gu, Mu Cai, Seonghyeon Ye, Joel Jang, Yuquan Deng, Lars Liden, Jianfeng Gao

cs.AI

Samenvatting

We presenteren Magma, een foundation model dat multimodale AI-agenttaken uitvoert in zowel de digitale als de fysieke wereld. Magma is een significante uitbreiding van visie-taalmodellen (VL-modellen) omdat het niet alleen het begripsvermogen van VL-modellen (verbale intelligentie) behoudt, maar ook is uitgerust met het vermogen om te plannen en te handelen in de visueel-ruimtelijke wereld (ruimtelijk-temporele intelligentie) en agenttaken uit te voeren, variërend van UI-navigatie tot robotmanipulatie. Om deze agentmogelijkheden te bieden, is Magma voorgetraind op grote hoeveelheden heterogene datasets, variërend van afbeeldingen en video's tot robotica-data, waarbij de actiegerichte visuele objecten (bijvoorbeeld klikbare knoppen in een GUI) in afbeeldingen zijn gelabeld met Set-of-Mark (SoM) voor actieverankering, en de objectbewegingen (bijvoorbeeld het spoor van menselijke handen of robotarmen) in video's zijn gelabeld met Trace-of-Mark (ToM) voor actieplanning. Uitgebreide experimenten tonen aan dat SoM en ToM een grote synergie bereiken en de verwerving van ruimtelijk-temporele intelligentie voor ons Magma-model vergemakkelijken, wat fundamenteel is voor een breed scala aan taken, zoals getoond in Fig.1. In het bijzonder behaalt Magma nieuwe state-of-the-art resultaten op het gebied van UI-navigatie en robotmanipulatietaken, waarbij het eerdere modellen die specifiek voor deze taken zijn ontworpen, overtreft. Op multimodale taken gerelateerd aan afbeeldingen en video's presteert Magma ook gunstig in vergelijking met populaire grote multimodale modellen die op veel grotere datasets zijn getraind. We maken ons model en code openbaar voor reproduceerbaarheid op https://microsoft.github.io/Magma.

English

We present Magma, a foundation model that serves multimodal AI agentic tasks in both the digital and physical worlds. Magma is a significant extension of vision-language (VL) models in that it not only retains the VL understanding ability (verbal intelligence) of the latter, but is also equipped with the ability to plan and act in the visual-spatial world (spatial-temporal intelligence) and complete agentic tasks ranging from UI navigation to robot manipulation. To endow the agentic capabilities, Magma is pretrained on large amounts of heterogeneous datasets spanning from images, videos to robotics data, where the actionable visual objects (e.g., clickable buttons in GUI) in images are labeled by Set-of-Mark (SoM) for action grounding, and the object movements (e.g., the trace of human hands or robotic arms) in videos are labeled by Trace-of-Mark (ToM) for action planning. Extensive experiments show that SoM and ToM reach great synergy and facilitate the acquisition of spatial-temporal intelligence for our Magma model, which is fundamental to a wide range of tasks as shown in Fig.1. In particular, Magma creates new state-of-the-art results on UI navigation and robotic manipulation tasks, outperforming previous models that are specifically tailored to these tasks. On image and video-related multimodal tasks, Magma also compares favorably to popular large multimodal models that are trained on much larger datasets. We make our model and code public for reproducibility at https://microsoft.github.io/Magma.