Magma: Ein Grundlagenmodell für multimodale KI-Agenten

Magma: A Foundation Model for Multimodal AI Agents

February 18, 2025

Autoren: Jianwei Yang, Reuben Tan, Qianhui Wu, Ruijie Zheng, Baolin Peng, Yongyuan Liang, Yu Gu, Mu Cai, Seonghyeon Ye, Joel Jang, Yuquan Deng, Lars Liden, Jianfeng Gao

cs.AI

Zusammenfassung

Wir präsentieren Magma, ein Foundation-Modell, das multimodale agentenbasierte Aufgaben sowohl in der digitalen als auch in der physischen Welt bewältigt. Magma stellt eine bedeutende Erweiterung von Vision-Language (VL)-Modellen dar, da es nicht nur die Verständnisfähigkeit (verbale Intelligenz) der VL-Modelle beibehält, sondern auch mit der Fähigkeit ausgestattet ist, in der visuell-räumlichen Welt zu planen und zu handeln (räumlich-zeitliche Intelligenz) sowie agentenbasierte Aufgaben zu erledigen, die von der UI-Navigation bis zur Robotersteuerung reichen. Um diese agentenbasierten Fähigkeiten zu ermöglichen, wird Magma auf großen Mengen heterogener Datensätze vortrainiert, die von Bildern und Videos bis hin zu Robotikdaten reichen. Dabei werden die handlungsfähigen visuellen Objekte (z. B. klickbare Schaltflächen in GUIs) in Bildern durch Set-of-Mark (SoM) für die Handlungsverankerung gekennzeichnet, und die Objektbewegungen (z. B. die Spur menschlicher Hände oder Roboterarme) in Videos durch Trace-of-Mark (ToM) für die Handlungsplanung markiert. Umfangreiche Experimente zeigen, dass SoM und ToM eine große Synergie erreichen und den Erwerb der räumlich-zeitlichen Intelligenz für unser Magma-Modell fördern, was für eine Vielzahl von Aufgaben, wie in Abb. 1 dargestellt, grundlegend ist. Insbesondere erzielt Magma neue state-of-the-art Ergebnisse bei der UI-Navigation und Robotersteuerung und übertrifft dabei frühere Modelle, die speziell für diese Aufgaben entwickelt wurden. Bei multimodalen Aufgaben im Zusammenhang mit Bildern und Videos schneidet Magma ebenfalls besser ab als beliebte große multimodale Modelle, die auf viel größeren Datensätzen trainiert wurden. Wir stellen unser Modell und den Code zur Reproduzierbarkeit unter https://microsoft.github.io/Magma öffentlich zur Verfügung.

English

We present Magma, a foundation model that serves multimodal AI agentic tasks in both the digital and physical worlds. Magma is a significant extension of vision-language (VL) models in that it not only retains the VL understanding ability (verbal intelligence) of the latter, but is also equipped with the ability to plan and act in the visual-spatial world (spatial-temporal intelligence) and complete agentic tasks ranging from UI navigation to robot manipulation. To endow the agentic capabilities, Magma is pretrained on large amounts of heterogeneous datasets spanning from images, videos to robotics data, where the actionable visual objects (e.g., clickable buttons in GUI) in images are labeled by Set-of-Mark (SoM) for action grounding, and the object movements (e.g., the trace of human hands or robotic arms) in videos are labeled by Trace-of-Mark (ToM) for action planning. Extensive experiments show that SoM and ToM reach great synergy and facilitate the acquisition of spatial-temporal intelligence for our Magma model, which is fundamental to a wide range of tasks as shown in Fig.1. In particular, Magma creates new state-of-the-art results on UI navigation and robotic manipulation tasks, outperforming previous models that are specifically tailored to these tasks. On image and video-related multimodal tasks, Magma also compares favorably to popular large multimodal models that are trained on much larger datasets. We make our model and code public for reproducibility at https://microsoft.github.io/Magma.