Magma：マルチモーダルAIエージェントの基盤モデル

Magma: A Foundation Model for Multimodal AI Agents

February 18, 2025

著者: Jianwei Yang, Reuben Tan, Qianhui Wu, Ruijie Zheng, Baolin Peng, Yongyuan Liang, Yu Gu, Mu Cai, Seonghyeon Ye, Joel Jang, Yuquan Deng, Lars Liden, Jianfeng Gao

cs.AI

要旨

我々は、デジタルと物理の両世界におけるマルチモーダルAIエージェントタスクに対応する基盤モデル「Magma」を提案する。Magmaは、視覚言語（VL）モデルの大幅な拡張であり、後者の言語理解能力（言語的知能）を保持するだけでなく、視覚空間世界における計画と行動（空間時間的知能）の能力を備え、UIナビゲーションからロボット操作に至るエージェントタスクを遂行する。エージェント能力を付与するため、Magmaは画像、動画、ロボティクスデータにわたる大量の異種データセットで事前学習されており、画像内の操作可能な視覚オブジェクト（例：GUI内のクリック可能なボタン）は行動の基盤付けのためにSet-of-Mark（SoM）でラベル付けされ、動画内のオブジェクトの動き（例：人間の手やロボットアームの軌跡）は行動計画のためにTrace-of-Mark（ToM）でラベル付けされている。大規模な実験により、SoMとToMが高い相乗効果を発揮し、Magmaモデルの空間時間的知能の獲得を促進することが示されており、これは図1に示すように幅広いタスクの基盤となっている。特に、MagmaはUIナビゲーションとロボット操作タスクにおいて、これらのタスクに特化して設計された従来のモデルを上回る新たな最先端の結果を達成している。画像や動画関連のマルチモーダルタスクにおいても、Magmaはより大規模なデータセットで訓練された人気の大規模マルチモーダルモデルと比較しても遜色ない性能を示している。我々は、再現性のためにモデルとコードをhttps://microsoft.github.io/Magmaで公開している。

English

We present Magma, a foundation model that serves multimodal AI agentic tasks in both the digital and physical worlds. Magma is a significant extension of vision-language (VL) models in that it not only retains the VL understanding ability (verbal intelligence) of the latter, but is also equipped with the ability to plan and act in the visual-spatial world (spatial-temporal intelligence) and complete agentic tasks ranging from UI navigation to robot manipulation. To endow the agentic capabilities, Magma is pretrained on large amounts of heterogeneous datasets spanning from images, videos to robotics data, where the actionable visual objects (e.g., clickable buttons in GUI) in images are labeled by Set-of-Mark (SoM) for action grounding, and the object movements (e.g., the trace of human hands or robotic arms) in videos are labeled by Trace-of-Mark (ToM) for action planning. Extensive experiments show that SoM and ToM reach great synergy and facilitate the acquisition of spatial-temporal intelligence for our Magma model, which is fundamental to a wide range of tasks as shown in Fig.1. In particular, Magma creates new state-of-the-art results on UI navigation and robotic manipulation tasks, outperforming previous models that are specifically tailored to these tasks. On image and video-related multimodal tasks, Magma also compares favorably to popular large multimodal models that are trained on much larger datasets. We make our model and code public for reproducibility at https://microsoft.github.io/Magma.