Magma: Базисная модель для мультимодальных ИИ-агентов

Magma: A Foundation Model for Multimodal AI Agents

February 18, 2025

Авторы: Jianwei Yang, Reuben Tan, Qianhui Wu, Ruijie Zheng, Baolin Peng, Yongyuan Liang, Yu Gu, Mu Cai, Seonghyeon Ye, Joel Jang, Yuquan Deng, Lars Liden, Jianfeng Gao

cs.AI

Аннотация

Мы представляем Magma, базовую модель, предназначенную для выполнения мультимодальных задач агентного ИИ как в цифровом, так и в физическом мире. Magma представляет собой значительное расширение моделей, работающих с визуальными и языковыми данными (VL-модели), поскольку она не только сохраняет способность к пониманию визуально-языковых данных (вербальный интеллект), но также оснащена способностью планировать и действовать в визуально-пространственном мире (пространственно-временной интеллект) и выполнять агентные задачи, начиная от навигации в пользовательских интерфейсах и заканчивая манипуляциями роботов. Для наделения агентными возможностями Magma предварительно обучается на больших объемах гетерогенных данных, включающих изображения, видео и данные робототехники, где активные визуальные объекты (например, кликабельные кнопки в графическом интерфейсе) в изображениях помечены с помощью Set-of-Mark (SoM) для привязки действий, а движения объектов (например, траектории рук человека или роботизированных манипуляторов) в видео помечены с помощью Trace-of-Mark (ToM) для планирования действий. Многочисленные эксперименты показывают, что SoM и ToM достигают высокой синергии и способствуют приобретению пространственно-временного интеллекта для нашей модели Magma, что является основополагающим для широкого спектра задач, как показано на рис. 1. В частности, Magma устанавливает новые рекорды в задачах навигации в пользовательских интерфейсах и манипуляций роботов, превосходя предыдущие модели, специально разработанные для этих задач. В мультимодальных задачах, связанных с изображениями и видео, Magma также демонстрирует конкурентоспособные результаты по сравнению с популярными крупными мультимодальными моделями, обученными на значительно больших наборах данных. Мы делаем нашу модель и код общедоступными для обеспечения воспроизводимости по адресу https://microsoft.github.io/Magma.

English

We present Magma, a foundation model that serves multimodal AI agentic tasks in both the digital and physical worlds. Magma is a significant extension of vision-language (VL) models in that it not only retains the VL understanding ability (verbal intelligence) of the latter, but is also equipped with the ability to plan and act in the visual-spatial world (spatial-temporal intelligence) and complete agentic tasks ranging from UI navigation to robot manipulation. To endow the agentic capabilities, Magma is pretrained on large amounts of heterogeneous datasets spanning from images, videos to robotics data, where the actionable visual objects (e.g., clickable buttons in GUI) in images are labeled by Set-of-Mark (SoM) for action grounding, and the object movements (e.g., the trace of human hands or robotic arms) in videos are labeled by Trace-of-Mark (ToM) for action planning. Extensive experiments show that SoM and ToM reach great synergy and facilitate the acquisition of spatial-temporal intelligence for our Magma model, which is fundamental to a wide range of tasks as shown in Fig.1. In particular, Magma creates new state-of-the-art results on UI navigation and robotic manipulation tasks, outperforming previous models that are specifically tailored to these tasks. On image and video-related multimodal tasks, Magma also compares favorably to popular large multimodal models that are trained on much larger datasets. We make our model and code public for reproducibility at https://microsoft.github.io/Magma.