VideoMolmo: Пространственно-временное закрепление и указание

VideoMolmo: Spatio-Temporal Grounding Meets Pointing

June 5, 2025

Авторы: Ghazi Shazan Ahmad, Ahmed Heakl, Hanan Gani, Abdelrahman Shaker, Zhiqiang Shen, Ranjay Krishna, Fahad Shahbaz Khan, Salman Khan

cs.AI

Аннотация

Пространственно-временная локализация имеет ключевое значение для точного взаимодействия в различных областях, от биологических исследований до автономной навигации и интерактивных интерфейсов. Современные подходы, основанные на видео, хотя и эффективны в отслеживании, не обладают сложными способностями к рассуждению, характерными для больших языковых моделей, что ограничивает их контекстное понимание и обобщение. Мы представляем VideoMolmo — крупную мультимодальную модель, разработанную для детализированной пространственно-временной локализации на основе текстовых описаний. Основанная на архитектуре Molmo, VideoMolmo включает временной модуль, использующий механизм внимания для учета предыдущих кадров при обработке каждого текущего кадра, что обеспечивает временную согласованность. Кроме того, наш новый подход к временному слиянию масок использует SAM2 для двунаправленного распространения точек, значительно повышая согласованность в видеопоследовательностях. Этот двухэтапный процесс, включающий сначала генерацию точных координат локализации с помощью языковой модели, а затем использование последовательного модуля слияния масок для создания согласованной сегментации, не только упрощает задачу для языковой модели, но и повышает интерпретируемость. Из-за отсутствия подходящих наборов данных мы создали комплексный набор данных, включающий 72 тыс. пар видео-описаний с аннотацией 100 тыс. объектов. Для оценки обобщающей способности VideoMolmo мы представляем VPoS-Bench — сложный бенчмарк для работы с данными вне распределения, охватывающий пять реальных сценариев: отслеживание клеток, эгоцентрическое зрение, автономное вождение, взаимодействие с видео-интерфейсами и робототехнику. Мы также оцениваем нашу модель на задачах сегментации объектов в видео с указанием (Refer-VOS) и сегментации с рассуждением (Reasoning VOS). По сравнению с существующими моделями, VideoMolmo значительно улучшает точность пространственно-временной локализации и способность к рассуждению. Наш код и модели доступны по адресу https://github.com/mbzuai-oryx/VideoMolmo.

English

Spatio-temporal localization is vital for precise interactions across diverse domains, from biological research to autonomous navigation and interactive interfaces. Current video-based approaches, while proficient in tracking, lack the sophisticated reasoning capabilities of large language models, limiting their contextual understanding and generalization. We introduce VideoMolmo, a large multimodal model tailored for fine-grained spatio-temporal pointing conditioned on textual descriptions. Building upon the Molmo architecture, VideoMolmo incorporates a temporal module utilizing an attention mechanism to condition each frame on preceding frames, ensuring temporal consistency. Additionally, our novel temporal mask fusion pipeline employs SAM2 for bidirectional point propagation, significantly enhancing coherence across video sequences. This two-step decomposition, i.e., first using the LLM to generate precise pointing coordinates, then relying on a sequential mask-fusion module to produce coherent segmentation, not only simplifies the task for the language model but also enhances interpretability. Due to the lack of suitable datasets, we curate a comprehensive dataset comprising 72k video-caption pairs annotated with 100k object points. To evaluate the generalization of VideoMolmo, we introduce VPoS-Bench, a challenging out-of-distribution benchmark spanning five real-world scenarios: Cell Tracking, Egocentric Vision, Autonomous Driving, Video-GUI Interaction, and Robotics. We also evaluate our model on Referring Video Object Segmentation (Refer-VOS) and Reasoning VOS tasks. In comparison to existing models, VideoMolmo substantially improves spatio-temporal pointing accuracy and reasoning capability. Our code and models are publicly available at https://github.com/mbzuai-oryx/VideoMolmo.