VideoMolmo: Spatio-temporeel grondslag ontmoet aanwijzen

Samenvatting

Spatio-temporele lokalisatie is essentieel voor precieze interacties in diverse domeinen, van biologisch onderzoek tot autonome navigatie en interactieve interfaces. Huidige video-gebaseerde benaderingen, hoewel vaardig in tracking, missen de geavanceerde redeneervaardigheden van grote taalmodellen, wat hun contextueel begrip en generalisatie beperkt. Wij introduceren VideoMolmo, een groot multimodaal model ontworpen voor fijnmazige spatio-temporele aanwijzingen op basis van tekstuele beschrijvingen. Gebaseerd op de Molmo-architectuur, integreert VideoMolmo een temporele module die een aandachtmechanisme gebruikt om elk frame te conditioneren op voorgaande frames, waardoor temporele consistentie wordt gewaarborgd. Daarnaast maakt onze nieuwe temporele maskerfusiepijplijn gebruik van SAM2 voor bidirectionele puntpropagatie, wat de samenhang over videosequenties aanzienlijk verbetert. Deze tweestapsdecompositie, waarbij eerst het LLM wordt gebruikt om precieze aanwijscoördinaten te genereren en vervolgens wordt vertrouwd op een sequentieel maskerfusiemodule om coherente segmentatie te produceren, vereenvoudigt niet alleen de taak voor het taalmodel, maar verbetert ook de interpreteerbaarheid. Vanwege het gebrek aan geschikte datasets, hebben wij een uitgebreide dataset samengesteld bestaande uit 72k video-bijschriftparen geannoteerd met 100k objectpunten. Om de generalisatie van VideoMolmo te evalueren, introduceren wij VPoS-Bench, een uitdagende out-of-distribution benchmark die vijf real-world scenario's omvat: Cel Tracking, Egocentrisch Zicht, Autonoom Rijden, Video-GUI Interactie en Robotica. Wij evalueren ons model ook op Referring Video Object Segmentation (Refer-VOS) en Reasoning VOS taken. In vergelijking met bestaande modellen, verbetert VideoMolmo de spatio-temporele aanwijs nauwkeurigheid en redeneervaardigheid aanzienlijk. Onze code en modellen zijn publiekelijk beschikbaar op https://github.com/mbzuai-oryx/VideoMolmo.

English

Spatio-temporal localization is vital for precise interactions across diverse domains, from biological research to autonomous navigation and interactive interfaces. Current video-based approaches, while proficient in tracking, lack the sophisticated reasoning capabilities of large language models, limiting their contextual understanding and generalization. We introduce VideoMolmo, a large multimodal model tailored for fine-grained spatio-temporal pointing conditioned on textual descriptions. Building upon the Molmo architecture, VideoMolmo incorporates a temporal module utilizing an attention mechanism to condition each frame on preceding frames, ensuring temporal consistency. Additionally, our novel temporal mask fusion pipeline employs SAM2 for bidirectional point propagation, significantly enhancing coherence across video sequences. This two-step decomposition, i.e., first using the LLM to generate precise pointing coordinates, then relying on a sequential mask-fusion module to produce coherent segmentation, not only simplifies the task for the language model but also enhances interpretability. Due to the lack of suitable datasets, we curate a comprehensive dataset comprising 72k video-caption pairs annotated with 100k object points. To evaluate the generalization of VideoMolmo, we introduce VPoS-Bench, a challenging out-of-distribution benchmark spanning five real-world scenarios: Cell Tracking, Egocentric Vision, Autonomous Driving, Video-GUI Interaction, and Robotics. We also evaluate our model on Referring Video Object Segmentation (Refer-VOS) and Reasoning VOS tasks. In comparison to existing models, VideoMolmo substantially improves spatio-temporal pointing accuracy and reasoning capability. Our code and models are publicly available at https://github.com/mbzuai-oryx/VideoMolmo.

VideoMolmo: Spatio-temporeel grondslag ontmoet aanwijzen

VideoMolmo: Spatio-Temporal Grounding Meets Pointing

Samenvatting

Support