VideoMolmo: Fundamentación Espacio-Temporal con Puntería

VideoMolmo: Spatio-Temporal Grounding Meets Pointing

June 5, 2025

Autores: Ghazi Shazan Ahmad, Ahmed Heakl, Hanan Gani, Abdelrahman Shaker, Zhiqiang Shen, Ranjay Krishna, Fahad Shahbaz Khan, Salman Khan

cs.AI

Resumen

La localización espacio-temporal es fundamental para interacciones precisas en diversos dominios, desde la investigación biológica hasta la navegación autónoma y las interfaces interactivas. Los enfoques actuales basados en video, aunque competentes en el seguimiento, carecen de las capacidades de razonamiento sofisticado de los modelos de lenguaje grandes, lo que limita su comprensión contextual y generalización. Presentamos VideoMolmo, un modelo multimodal grande diseñado para el señalamiento espacio-temporal de grano fino condicionado por descripciones textuales. Basado en la arquitectura Molmo, VideoMolmo incorpora un módulo temporal que utiliza un mecanismo de atención para condicionar cada fotograma en los fotogramas anteriores, asegurando la consistencia temporal. Además, nuestra novedosa canalización de fusión de máscaras temporales emplea SAM2 para la propagación bidireccional de puntos, mejorando significativamente la coherencia en las secuencias de video. Esta descomposición en dos pasos, es decir, primero usar el modelo de lenguaje grande (LLM) para generar coordenadas de señalamiento precisas y luego confiar en un módulo secuencial de fusión de máscaras para producir segmentaciones coherentes, no solo simplifica la tarea para el modelo de lenguaje sino que también mejora la interpretabilidad. Debido a la falta de conjuntos de datos adecuados, hemos creado un conjunto de datos integral que comprende 72k pares de video-caption anotados con 100k puntos de objetos. Para evaluar la generalización de VideoMolmo, presentamos VPoS-Bench, un punto de referencia desafiante fuera de distribución que abarca cinco escenarios del mundo real: Seguimiento de Células, Visión Egocéntrica, Conducción Autónoma, Interacción Video-GUI y Robótica. También evaluamos nuestro modelo en tareas de Segmentación de Objetos en Video Referenciado (Refer-VOS) y Razonamiento VOS. En comparación con los modelos existentes, VideoMolmo mejora sustancialmente la precisión del señalamiento espacio-temporal y la capacidad de razonamiento. Nuestro código y modelos están disponibles públicamente en https://github.com/mbzuai-oryx/VideoMolmo.

English

Spatio-temporal localization is vital for precise interactions across diverse domains, from biological research to autonomous navigation and interactive interfaces. Current video-based approaches, while proficient in tracking, lack the sophisticated reasoning capabilities of large language models, limiting their contextual understanding and generalization. We introduce VideoMolmo, a large multimodal model tailored for fine-grained spatio-temporal pointing conditioned on textual descriptions. Building upon the Molmo architecture, VideoMolmo incorporates a temporal module utilizing an attention mechanism to condition each frame on preceding frames, ensuring temporal consistency. Additionally, our novel temporal mask fusion pipeline employs SAM2 for bidirectional point propagation, significantly enhancing coherence across video sequences. This two-step decomposition, i.e., first using the LLM to generate precise pointing coordinates, then relying on a sequential mask-fusion module to produce coherent segmentation, not only simplifies the task for the language model but also enhances interpretability. Due to the lack of suitable datasets, we curate a comprehensive dataset comprising 72k video-caption pairs annotated with 100k object points. To evaluate the generalization of VideoMolmo, we introduce VPoS-Bench, a challenging out-of-distribution benchmark spanning five real-world scenarios: Cell Tracking, Egocentric Vision, Autonomous Driving, Video-GUI Interaction, and Robotics. We also evaluate our model on Referring Video Object Segmentation (Refer-VOS) and Reasoning VOS tasks. In comparison to existing models, VideoMolmo substantially improves spatio-temporal pointing accuracy and reasoning capability. Our code and models are publicly available at https://github.com/mbzuai-oryx/VideoMolmo.