VideoMolmo: Fundamentação Espaço-Temporal Encontra a Indicação por Apontamento

VideoMolmo: Spatio-Temporal Grounding Meets Pointing

June 5, 2025

Autores: Ghazi Shazan Ahmad, Ahmed Heakl, Hanan Gani, Abdelrahman Shaker, Zhiqiang Shen, Ranjay Krishna, Fahad Shahbaz Khan, Salman Khan

cs.AI

Resumo

A localização espaço-temporal é crucial para interações precisas em diversos domínios, desde pesquisas biológicas até navegação autônoma e interfaces interativas. As abordagens atuais baseadas em vídeo, embora proficientes em rastreamento, carecem das sofisticadas capacidades de raciocínio dos grandes modelos de linguagem, limitando sua compreensão contextual e generalização. Apresentamos o VideoMolmo, um grande modelo multimodal projetado para apontamento espaço-temporal refinado condicionado a descrições textuais. Construído sobre a arquitetura Molmo, o VideoMolmo incorpora um módulo temporal que utiliza um mecanismo de atenção para condicionar cada quadro aos quadros anteriores, garantindo consistência temporal. Além disso, nosso novo pipeline de fusão de máscaras temporais emprega o SAM2 para propagação bidirecional de pontos, melhorando significativamente a coerência ao longo das sequências de vídeo. Essa decomposição em duas etapas, ou seja, primeiro usando o LLM para gerar coordenadas precisas de apontamento e, em seguida, confiando em um módulo sequencial de fusão de máscaras para produzir segmentação coerente, não apenas simplifica a tarefa para o modelo de linguagem, mas também aumenta a interpretabilidade. Devido à falta de conjuntos de dados adequados, organizamos um conjunto de dados abrangente composto por 72k pares de vídeo-legenda anotados com 100k pontos de objetos. Para avaliar a generalização do VideoMolmo, introduzimos o VPoS-Bench, um benchmark desafiador de fora da distribuição que abrange cinco cenários do mundo real: Rastreamento de Células, Visão Egocêntrica, Condução Autônoma, Interação Vídeo-GUI e Robótica. Também avaliamos nosso modelo nas tarefas de Segmentação de Objetos em Vídeo com Referência (Refer-VOS) e Segmentação de Objetos em Vídeo com Raciocínio (Reasoning VOS). Em comparação com os modelos existentes, o VideoMolmo melhora substancialmente a precisão do apontamento espaço-temporal e a capacidade de raciocínio. Nosso código e modelos estão publicamente disponíveis em https://github.com/mbzuai-oryx/VideoMolmo.

English

Spatio-temporal localization is vital for precise interactions across diverse domains, from biological research to autonomous navigation and interactive interfaces. Current video-based approaches, while proficient in tracking, lack the sophisticated reasoning capabilities of large language models, limiting their contextual understanding and generalization. We introduce VideoMolmo, a large multimodal model tailored for fine-grained spatio-temporal pointing conditioned on textual descriptions. Building upon the Molmo architecture, VideoMolmo incorporates a temporal module utilizing an attention mechanism to condition each frame on preceding frames, ensuring temporal consistency. Additionally, our novel temporal mask fusion pipeline employs SAM2 for bidirectional point propagation, significantly enhancing coherence across video sequences. This two-step decomposition, i.e., first using the LLM to generate precise pointing coordinates, then relying on a sequential mask-fusion module to produce coherent segmentation, not only simplifies the task for the language model but also enhances interpretability. Due to the lack of suitable datasets, we curate a comprehensive dataset comprising 72k video-caption pairs annotated with 100k object points. To evaluate the generalization of VideoMolmo, we introduce VPoS-Bench, a challenging out-of-distribution benchmark spanning five real-world scenarios: Cell Tracking, Egocentric Vision, Autonomous Driving, Video-GUI Interaction, and Robotics. We also evaluate our model on Referring Video Object Segmentation (Refer-VOS) and Reasoning VOS tasks. In comparison to existing models, VideoMolmo substantially improves spatio-temporal pointing accuracy and reasoning capability. Our code and models are publicly available at https://github.com/mbzuai-oryx/VideoMolmo.