VideoMolmo : Ancrage spatio-temporel et désignation visuelle

VideoMolmo: Spatio-Temporal Grounding Meets Pointing

June 5, 2025

Auteurs: Ghazi Shazan Ahmad, Ahmed Heakl, Hanan Gani, Abdelrahman Shaker, Zhiqiang Shen, Ranjay Krishna, Fahad Shahbaz Khan, Salman Khan

cs.AI

Résumé

La localisation spatio-temporelle est essentielle pour des interactions précises dans divers domaines, allant de la recherche biologique à la navigation autonome et aux interfaces interactives. Les approches actuelles basées sur la vidéo, bien que compétentes en suivi, manquent des capacités de raisonnement sophistiquées des grands modèles de langage, limitant ainsi leur compréhension contextuelle et leur généralisation. Nous présentons VideoMolmo, un grand modèle multimodal conçu pour le pointage spatio-temporel finement ajusté en fonction de descriptions textuelles. S'appuyant sur l'architecture Molmo, VideoMolmo intègre un module temporel utilisant un mécanisme d'attention pour conditionner chaque image sur les images précédentes, garantissant ainsi une cohérence temporelle. De plus, notre nouvelle pipeline de fusion de masques temporels utilise SAM2 pour une propagation bidirectionnelle des points, améliorant significativement la cohérence à travers les séquences vidéo. Cette décomposition en deux étapes, c'est-à-dire d'abord utiliser le modèle de langage pour générer des coordonnées de pointage précises, puis s'appuyer sur un module de fusion de masques séquentiels pour produire une segmentation cohérente, simplifie non seulement la tâche pour le modèle de langage mais améliore également l'interprétabilité. En raison du manque de jeux de données appropriés, nous avons constitué un ensemble de données complet comprenant 72 000 paires vidéo-légende annotées avec 100 000 points d'objets. Pour évaluer la généralisation de VideoMolmo, nous introduisons VPoS-Bench, un benchmark hors distribution difficile couvrant cinq scénarios du monde réel : suivi cellulaire, vision égocentrique, conduite autonome, interaction vidéo-interface graphique et robotique. Nous évaluons également notre modèle sur les tâches de segmentation d'objets vidéo référencés (Refer-VOS) et de raisonnement VOS. Par rapport aux modèles existants, VideoMolmo améliore considérablement la précision du pointage spatio-temporel et la capacité de raisonnement. Notre code et nos modèles sont disponibles publiquement à l'adresse https://github.com/mbzuai-oryx/VideoMolmo.

English

Spatio-temporal localization is vital for precise interactions across diverse domains, from biological research to autonomous navigation and interactive interfaces. Current video-based approaches, while proficient in tracking, lack the sophisticated reasoning capabilities of large language models, limiting their contextual understanding and generalization. We introduce VideoMolmo, a large multimodal model tailored for fine-grained spatio-temporal pointing conditioned on textual descriptions. Building upon the Molmo architecture, VideoMolmo incorporates a temporal module utilizing an attention mechanism to condition each frame on preceding frames, ensuring temporal consistency. Additionally, our novel temporal mask fusion pipeline employs SAM2 for bidirectional point propagation, significantly enhancing coherence across video sequences. This two-step decomposition, i.e., first using the LLM to generate precise pointing coordinates, then relying on a sequential mask-fusion module to produce coherent segmentation, not only simplifies the task for the language model but also enhances interpretability. Due to the lack of suitable datasets, we curate a comprehensive dataset comprising 72k video-caption pairs annotated with 100k object points. To evaluate the generalization of VideoMolmo, we introduce VPoS-Bench, a challenging out-of-distribution benchmark spanning five real-world scenarios: Cell Tracking, Egocentric Vision, Autonomous Driving, Video-GUI Interaction, and Robotics. We also evaluate our model on Referring Video Object Segmentation (Refer-VOS) and Reasoning VOS tasks. In comparison to existing models, VideoMolmo substantially improves spatio-temporal pointing accuracy and reasoning capability. Our code and models are publicly available at https://github.com/mbzuai-oryx/VideoMolmo.