VideoLoom: Un Modelo de Lenguaje a Gran Escalo para Video que Permite una Comprensión Espacio-Temporal Conjunta
VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding
January 12, 2026
Autores: Jiapeng Shi, Junke Wang, Zuyao You, Bo He, Zuxuan Wu
cs.AI
Resumen
Este artículo presenta VideoLoom, un Modelo de Lenguaje Grande de Video unificado para la comprensión espacio-temporal conjunta. Para facilitar el desarrollo de capacidades de localización espacial y temporal de grano fino, hemos creado LoomData-8.7k, un conjunto de datos de video centrado en lo humano con descripciones ancladas temporalmente y localizadas espacialmente. Con esto, VideoLoom logra un rendimiento de vanguardia o altamente competitivo en diversos puntos de referencia espaciales y temporales (por ejemplo, 63.1 J&F en ReVOS para la segmentación de objetos de video por referencia, y 48.3 R1@0.7 en Charades-STA para la localización temporal). Además, presentamos LoomBench, un nuevo benchmark que consiste en pares de video-pregunta temporales, espaciales y composicionales, permitiendo una evaluación integral de los Video LLMs desde diversos aspectos. En conjunto, estas contribuciones ofrecen un conjunto universal y eficaz para la comprensión de video espacio-temporal conjunta, estableciendo un nuevo estándar en la inteligencia multimodal.
English
This paper presents VideoLoom, a unified Video Large Language Model (Video LLM) for joint spatial-temporal understanding. To facilitate the development of fine-grained spatial and temporal localization capabilities, we curate LoomData-8.7k, a human-centric video dataset with temporally grounded and spatially localized captions. With this, VideoLoom achieves state-of-the-art or highly competitive performance across a variety of spatial and temporal benchmarks (e.g., 63.1 J&F on ReVOS for referring video object segmentation, and 48.3 R1@0.7 on Charades-STA for temporal grounding). In addition, we introduce LoomBench, a novel benchmark consisting of temporal, spatial, and compositional video-question pairs, enabling a comprehensive evaluation of Video LLMs from diverse aspects. Collectively, these contributions offer a universal and effective suite for joint spatial-temporal video understanding, setting a new standard in multimodal intelligence.