Magma: Um Modelo Base para Agentes de IA Multimodal

Magma: A Foundation Model for Multimodal AI Agents

February 18, 2025

Autores: Jianwei Yang, Reuben Tan, Qianhui Wu, Ruijie Zheng, Baolin Peng, Yongyuan Liang, Yu Gu, Mu Cai, Seonghyeon Ye, Joel Jang, Yuquan Deng, Lars Liden, Jianfeng Gao

cs.AI

Resumo

Apresentamos o Magma, um modelo de base que atende a tarefas agentivas de IA multimodal tanto no mundo digital quanto no físico. O Magma é uma extensão significativa dos modelos de visão e linguagem (VL), pois não apenas mantém a capacidade de compreensão VL (inteligência verbal) desses modelos, mas também é equipado com a capacidade de planejar e agir no mundo visual-espacial (inteligência espaço-temporal) e completar tarefas agentivas que variam desde a navegação em interfaces de usuário (UI) até a manipulação robótica. Para dotar o Magma de capacidades agentivas, ele foi pré-treinado em grandes quantidades de conjuntos de dados heterogêneos, abrangendo desde imagens e vídeos até dados de robótica, onde os objetos visuais acionáveis (por exemplo, botões clicáveis em GUI) nas imagens são rotulados por Set-of-Mark (SoM) para fundamentação de ações, e os movimentos de objetos (por exemplo, o traço de mãos humanas ou braços robóticos) em vídeos são rotulados por Trace-of-Mark (ToM) para planejamento de ações. Experimentos extensivos mostram que SoM e ToM alcançam uma grande sinergia e facilitam a aquisição de inteligência espaço-temporal para o nosso modelo Magma, o que é fundamental para uma ampla gama de tarefas, conforme mostrado na Fig.1. Em particular, o Magma estabelece novos resultados de ponta em tarefas de navegação em UI e manipulação robótica, superando modelos anteriores que foram especificamente adaptados para essas tarefas. Em tarefas multimodais relacionadas a imagens e vídeos, o Magma também se compara favoravelmente a modelos multimodais grandes populares que foram treinados em conjuntos de dados muito maiores. Disponibilizamos nosso modelo e código publicamente para reprodutibilidade em https://microsoft.github.io/Magma.

English

We present Magma, a foundation model that serves multimodal AI agentic tasks in both the digital and physical worlds. Magma is a significant extension of vision-language (VL) models in that it not only retains the VL understanding ability (verbal intelligence) of the latter, but is also equipped with the ability to plan and act in the visual-spatial world (spatial-temporal intelligence) and complete agentic tasks ranging from UI navigation to robot manipulation. To endow the agentic capabilities, Magma is pretrained on large amounts of heterogeneous datasets spanning from images, videos to robotics data, where the actionable visual objects (e.g., clickable buttons in GUI) in images are labeled by Set-of-Mark (SoM) for action grounding, and the object movements (e.g., the trace of human hands or robotic arms) in videos are labeled by Trace-of-Mark (ToM) for action planning. Extensive experiments show that SoM and ToM reach great synergy and facilitate the acquisition of spatial-temporal intelligence for our Magma model, which is fundamental to a wide range of tasks as shown in Fig.1. In particular, Magma creates new state-of-the-art results on UI navigation and robotic manipulation tasks, outperforming previous models that are specifically tailored to these tasks. On image and video-related multimodal tasks, Magma also compares favorably to popular large multimodal models that are trained on much larger datasets. We make our model and code public for reproducibility at https://microsoft.github.io/Magma.