VideoLoom: Um Modelo de Linguagem de Grande Porte para Vídeo com Compreensão Espaço-Temporal Conjunta
VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding
January 12, 2026
Autores: Jiapeng Shi, Junke Wang, Zuyao You, Bo He, Zuxuan Wu
cs.AI
Resumo
Este artigo apresenta o VideoLoom, um Modelo de Linguagem de Grande Porte Unificado para Vídeo (Video LLM) voltado para a compreensão espaço-temporal conjunta. Para facilitar o desenvolvimento de capacidades de localização espacial e temporal de alta granularidade, criámos o LoomData-8.7k, um conjunto de dados de vídeo centrado no ser humano, com legendas temporalmente fundamentadas e espacialmente localizadas. Com isto, o VideoLoom alcança um desempenho state-of-the-art ou altamente competitivo em várias benchmarks espaciais e temporais (por exemplo, 63.1 J&F no ReVOS para segmentação de objetos em vídeo por referência, e 48.3 R1@0.7 no Charades-STA para localização temporal). Adicionalmente, introduzimos a LoomBench, uma nova benchmark composta por pares vídeo-pergunta temporais, espaciais e composicionais, permitindo uma avaliação abrangente de Video LLMs a partir de diversas perspetivas. Coletivamente, estas contribuições oferecem um conjunto universal e eficaz para a compreensão espaço-temporal conjunta de vídeo, estabelecendo um novo padrão em inteligência multimodal.
English
This paper presents VideoLoom, a unified Video Large Language Model (Video LLM) for joint spatial-temporal understanding. To facilitate the development of fine-grained spatial and temporal localization capabilities, we curate LoomData-8.7k, a human-centric video dataset with temporally grounded and spatially localized captions. With this, VideoLoom achieves state-of-the-art or highly competitive performance across a variety of spatial and temporal benchmarks (e.g., 63.1 J&F on ReVOS for referring video object segmentation, and 48.3 R1@0.7 on Charades-STA for temporal grounding). In addition, we introduce LoomBench, a novel benchmark consisting of temporal, spatial, and compositional video-question pairs, enabling a comprehensive evaluation of Video LLMs from diverse aspects. Collectively, these contributions offer a universal and effective suite for joint spatial-temporal video understanding, setting a new standard in multimodal intelligence.