VideoMolmo: 時空間グラウンディングとポインティングの融合

要旨

時空間的ローカリゼーションは、生物学的研究から自律ナビゲーション、インタラクティブインターフェースに至る多様な領域における精密な相互作用にとって極めて重要である。現在のビデオベースのアプローチは、追跡においては優れているものの、大規模言語モデルが持つ高度な推論能力を欠いており、文脈理解と汎化能力が制限されている。本論文では、テキスト記述に基づく細粒度の時空間的ポインティングに特化した大規模マルチモーダルモデル、VideoMolmoを提案する。VideoMolmoは、Molmoアーキテクチャを基盤とし、前フレームに基づいて各フレームを条件付けるための注意機構を活用した時間モジュールを組み込むことで、時間的一貫性を確保する。さらに、我々の新たな時間マスク融合パイプラインは、SAM2を利用して双方向のポイント伝播を行い、ビデオシーケンス全体の一貫性を大幅に向上させる。この2段階の分解、すなわち、まずLLMを用いて精密なポインティング座標を生成し、次にシーケンシャルマスク融合モジュールに依存して一貫したセグメンテーションを生成するアプローチは、言語モデルのタスクを簡素化するだけでなく、解釈可能性も向上させる。適切なデータセットの不足を補うため、10万のオブジェクトポイントが注釈付けされた72kのビデオキャプションペアからなる包括的なデータセットを構築した。VideoMolmoの汎化能力を評価するために、セルトラッキング、エゴセントリックビジョン、自律運転、ビデオ-GUIインタラクション、ロボティクスの5つの現実世界のシナリオにまたがる挑戦的な分布外ベンチマーク、VPoS-Benchを導入した。また、Referring Video Object Segmentation (Refer-VOS) および Reasoning VOSタスクにおいてもモデルを評価した。既存のモデルと比較して、VideoMolmoは時空間的ポインティングの精度と推論能力を大幅に向上させた。我々のコードとモデルは、https://github.com/mbzuai-oryx/VideoMolmo で公開されている。

English

Spatio-temporal localization is vital for precise interactions across diverse domains, from biological research to autonomous navigation and interactive interfaces. Current video-based approaches, while proficient in tracking, lack the sophisticated reasoning capabilities of large language models, limiting their contextual understanding and generalization. We introduce VideoMolmo, a large multimodal model tailored for fine-grained spatio-temporal pointing conditioned on textual descriptions. Building upon the Molmo architecture, VideoMolmo incorporates a temporal module utilizing an attention mechanism to condition each frame on preceding frames, ensuring temporal consistency. Additionally, our novel temporal mask fusion pipeline employs SAM2 for bidirectional point propagation, significantly enhancing coherence across video sequences. This two-step decomposition, i.e., first using the LLM to generate precise pointing coordinates, then relying on a sequential mask-fusion module to produce coherent segmentation, not only simplifies the task for the language model but also enhances interpretability. Due to the lack of suitable datasets, we curate a comprehensive dataset comprising 72k video-caption pairs annotated with 100k object points. To evaluate the generalization of VideoMolmo, we introduce VPoS-Bench, a challenging out-of-distribution benchmark spanning five real-world scenarios: Cell Tracking, Egocentric Vision, Autonomous Driving, Video-GUI Interaction, and Robotics. We also evaluate our model on Referring Video Object Segmentation (Refer-VOS) and Reasoning VOS tasks. In comparison to existing models, VideoMolmo substantially improves spatio-temporal pointing accuracy and reasoning capability. Our code and models are publicly available at https://github.com/mbzuai-oryx/VideoMolmo.

VideoMolmo: 時空間グラウンディングとポインティングの融合

VideoMolmo: Spatio-Temporal Grounding Meets Pointing

要旨

Support