Magma: Un Modello di Base per Agenti AI Multimodali

Magma: A Foundation Model for Multimodal AI Agents

February 18, 2025

Autori: Jianwei Yang, Reuben Tan, Qianhui Wu, Ruijie Zheng, Baolin Peng, Yongyuan Liang, Yu Gu, Mu Cai, Seonghyeon Ye, Joel Jang, Yuquan Deng, Lars Liden, Jianfeng Gao

cs.AI

Abstract

Presentiamo Magma, un modello di base che affronta compiti agentivi multimodali sia nel mondo digitale che in quello fisico. Magma rappresenta un'estensione significativa dei modelli visione-linguaggio (VL) in quanto non solo conserva la capacità di comprensione VL (intelligenza verbale) di questi ultimi, ma è anche dotato della capacità di pianificare e agire nel mondo visivo-spaziale (intelligenza spazio-temporale) e di completare compiti agentivi che vanno dalla navigazione delle interfacce utente alla manipolazione robotica. Per dotare Magma di queste capacità agentive, il modello è stato preaddestrato su grandi quantità di dataset eterogenei che spaziano da immagini e video a dati robotici, dove gli oggetti visivi azionabili (ad esempio, pulsanti cliccabili nelle GUI) nelle immagini sono etichettati tramite Set-of-Mark (SoM) per il grounding delle azioni, e i movimenti degli oggetti (ad esempio, la traccia delle mani umane o delle braccia robotiche) nei video sono etichettati tramite Trace-of-Mark (ToM) per la pianificazione delle azioni. Esperimenti estensivi dimostrano che SoM e ToM raggiungono una grande sinergia e facilitano l'acquisizione dell'intelligenza spazio-temporale per il nostro modello Magma, fondamentale per un'ampia gamma di compiti come mostrato in Fig.1. In particolare, Magma stabilisce nuovi risultati all'avanguardia nei compiti di navigazione delle interfacce utente e di manipolazione robotica, superando modelli precedenti specificamente progettati per questi compiti. Su compiti multimodali legati a immagini e video, Magma si confronta favorevolmente anche con i popolari modelli multimodali di grandi dimensioni addestrati su dataset molto più ampi. Rendiamo pubblico il nostro modello e il codice per garantire la riproducibilità all'indirizzo https://microsoft.github.io/Magma.

English

We present Magma, a foundation model that serves multimodal AI agentic tasks in both the digital and physical worlds. Magma is a significant extension of vision-language (VL) models in that it not only retains the VL understanding ability (verbal intelligence) of the latter, but is also equipped with the ability to plan and act in the visual-spatial world (spatial-temporal intelligence) and complete agentic tasks ranging from UI navigation to robot manipulation. To endow the agentic capabilities, Magma is pretrained on large amounts of heterogeneous datasets spanning from images, videos to robotics data, where the actionable visual objects (e.g., clickable buttons in GUI) in images are labeled by Set-of-Mark (SoM) for action grounding, and the object movements (e.g., the trace of human hands or robotic arms) in videos are labeled by Trace-of-Mark (ToM) for action planning. Extensive experiments show that SoM and ToM reach great synergy and facilitate the acquisition of spatial-temporal intelligence for our Magma model, which is fundamental to a wide range of tasks as shown in Fig.1. In particular, Magma creates new state-of-the-art results on UI navigation and robotic manipulation tasks, outperforming previous models that are specifically tailored to these tasks. On image and video-related multimodal tasks, Magma also compares favorably to popular large multimodal models that are trained on much larger datasets. We make our model and code public for reproducibility at https://microsoft.github.io/Magma.