Magma: Un Modelo Fundacional para Agentes de IA Multimodal

Magma: A Foundation Model for Multimodal AI Agents

February 18, 2025

Autores: Jianwei Yang, Reuben Tan, Qianhui Wu, Ruijie Zheng, Baolin Peng, Yongyuan Liang, Yu Gu, Mu Cai, Seonghyeon Ye, Joel Jang, Yuquan Deng, Lars Liden, Jianfeng Gao

cs.AI

Resumen

Presentamos Magma, un modelo fundacional que aborda tareas agentivas multimodales de IA tanto en el mundo digital como en el físico. Magma representa una extensión significativa de los modelos de visión-lenguaje (VL), ya que no solo conserva la capacidad de comprensión VL (inteligencia verbal) de estos, sino que también está equipado con la habilidad de planificar y actuar en el mundo visual-espacial (inteligencia espacio-temporal) y completar tareas agentivas que van desde la navegación en interfaces de usuario hasta la manipulación robótica. Para dotar a Magma de estas capacidades agentivas, el modelo se preentrena con grandes cantidades de conjuntos de datos heterogéneos que abarcan desde imágenes y videos hasta datos de robótica, donde los objetos visuales accionables (por ejemplo, botones clickeables en una GUI) en las imágenes se etiquetan mediante Set-of-Mark (SoM) para la fundamentación de acciones, y los movimientos de objetos (por ejemplo, la trayectoria de manos humanas o brazos robóticos) en los videos se etiquetan mediante Trace-of-Mark (ToM) para la planificación de acciones. Experimentos exhaustivos muestran que SoM y ToM alcanzan una gran sinergia y facilitan la adquisición de inteligencia espacio-temporal para nuestro modelo Magma, lo cual es fundamental para una amplia gama de tareas, como se muestra en la Fig.1. En particular, Magma establece nuevos resultados de vanguardia en tareas de navegación en interfaces de usuario y manipulación robótica, superando a modelos anteriores específicamente diseñados para estas tareas. En tareas multimodales relacionadas con imágenes y videos, Magma también se compara favorablemente con modelos multimodales grandes populares que se entrenan con conjuntos de datos mucho más extensos. Hacemos público nuestro modelo y código para garantizar la reproducibilidad en https://microsoft.github.io/Magma.

English

We present Magma, a foundation model that serves multimodal AI agentic tasks in both the digital and physical worlds. Magma is a significant extension of vision-language (VL) models in that it not only retains the VL understanding ability (verbal intelligence) of the latter, but is also equipped with the ability to plan and act in the visual-spatial world (spatial-temporal intelligence) and complete agentic tasks ranging from UI navigation to robot manipulation. To endow the agentic capabilities, Magma is pretrained on large amounts of heterogeneous datasets spanning from images, videos to robotics data, where the actionable visual objects (e.g., clickable buttons in GUI) in images are labeled by Set-of-Mark (SoM) for action grounding, and the object movements (e.g., the trace of human hands or robotic arms) in videos are labeled by Trace-of-Mark (ToM) for action planning. Extensive experiments show that SoM and ToM reach great synergy and facilitate the acquisition of spatial-temporal intelligence for our Magma model, which is fundamental to a wide range of tasks as shown in Fig.1. In particular, Magma creates new state-of-the-art results on UI navigation and robotic manipulation tasks, outperforming previous models that are specifically tailored to these tasks. On image and video-related multimodal tasks, Magma also compares favorably to popular large multimodal models that are trained on much larger datasets. We make our model and code public for reproducibility at https://microsoft.github.io/Magma.