VideoMolmo: Fondamento Spazio-Temporale e Indicazione

Abstract

La localizzazione spazio-temporale è fondamentale per interazioni precise in vari domini, dalla ricerca biologica alla navigazione autonoma e alle interfacce interattive. Gli approcci attuali basati su video, pur essendo abili nel tracciamento, mancano delle sofisticate capacità di ragionamento dei grandi modelli linguistici, limitando la loro comprensione contestuale e generalizzazione. Introduciamo VideoMolmo, un grande modello multimodale progettato per il puntamento spazio-temporale fine-granularità condizionato da descrizioni testuali. Basandosi sull'architettura Molmo, VideoMolmo incorpora un modulo temporale che utilizza un meccanismo di attenzione per condizionare ogni fotogramma sui fotogrammi precedenti, garantendo coerenza temporale. Inoltre, la nostra innovativa pipeline di fusione delle maschere temporali impiega SAM2 per la propagazione bidirezionale dei punti, migliorando significativamente la coerenza attraverso le sequenze video. Questa scomposizione in due fasi, ovvero prima utilizzare il modello linguistico per generare coordinate di puntamento precise, poi affidarsi a un modulo sequenziale di fusione delle maschere per produrre segmentazioni coerenti, non solo semplifica il compito per il modello linguistico ma migliora anche l'interpretabilità. A causa della mancanza di dataset adeguati, abbiamo curato un dataset completo comprendente 72k coppie video-didascalia annotate con 100k punti oggetto. Per valutare la generalizzazione di VideoMolmo, introduciamo VPoS-Bench, un benchmark impegnativo fuori distribuzione che copre cinque scenari del mondo reale: Cell Tracking, Visione Egocentrica, Guida Autonoma, Interazione Video-GUI e Robotica. Valutiamo inoltre il nostro modello sui task di Segmentazione di Oggetti Video con Riferimento (Refer-VOS) e di Ragionamento VOS. Rispetto ai modelli esistenti, VideoMolmo migliora sostanzialmente l'accuratezza del puntamento spazio-temporale e la capacità di ragionamento. Il nostro codice e i modelli sono disponibili pubblicamente su https://github.com/mbzuai-oryx/VideoMolmo.

English

Spatio-temporal localization is vital for precise interactions across diverse domains, from biological research to autonomous navigation and interactive interfaces. Current video-based approaches, while proficient in tracking, lack the sophisticated reasoning capabilities of large language models, limiting their contextual understanding and generalization. We introduce VideoMolmo, a large multimodal model tailored for fine-grained spatio-temporal pointing conditioned on textual descriptions. Building upon the Molmo architecture, VideoMolmo incorporates a temporal module utilizing an attention mechanism to condition each frame on preceding frames, ensuring temporal consistency. Additionally, our novel temporal mask fusion pipeline employs SAM2 for bidirectional point propagation, significantly enhancing coherence across video sequences. This two-step decomposition, i.e., first using the LLM to generate precise pointing coordinates, then relying on a sequential mask-fusion module to produce coherent segmentation, not only simplifies the task for the language model but also enhances interpretability. Due to the lack of suitable datasets, we curate a comprehensive dataset comprising 72k video-caption pairs annotated with 100k object points. To evaluate the generalization of VideoMolmo, we introduce VPoS-Bench, a challenging out-of-distribution benchmark spanning five real-world scenarios: Cell Tracking, Egocentric Vision, Autonomous Driving, Video-GUI Interaction, and Robotics. We also evaluate our model on Referring Video Object Segmentation (Refer-VOS) and Reasoning VOS tasks. In comparison to existing models, VideoMolmo substantially improves spatio-temporal pointing accuracy and reasoning capability. Our code and models are publicly available at https://github.com/mbzuai-oryx/VideoMolmo.

VideoMolmo: Fondamento Spazio-Temporale e Indicazione

VideoMolmo: Spatio-Temporal Grounding Meets Pointing

Abstract

Support