VideoLoom: Видео-большая языковая модель для совместного пространственно-временного понимания
VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding
January 12, 2026
Авторы: Jiapeng Shi, Junke Wang, Zuyao You, Bo He, Zuxuan Wu
cs.AI
Аннотация
В данной статье представлена VideoLoom — унифицированная большая языковая модель для видео (Video LLM), предназначенная для совместного пространственно-временного анализа. Для развития способностей к точной пространственной и временной локализации мы создали LoomData-8.7k, антропоцентрический видео-датасет с темпорально привязанными и пространственно локализованными описаниями. Благодаря этому VideoLoom демонстрирует наилучшие или высококонкурентные результаты на различных пространственных и временных бенчмарках (например, 63.1 J&F на ReVOS для сегментации объектов по ссылке в видео и 48.3 R1@0.7 на Charades-STA для временной привязки). Кроме того, мы представляем LoomBench — новый бенчмарк, состоящий из темпоральных, пространственных и композиционных видео-вопросных пар, который позволяет проводить комплексную оценку Video LLM с различных сторон. В совокупности эти разработки предлагают универсальный и эффективный инструментарий для совместного пространственно-временного анализа видео, устанавливая новый стандарт в области мультимодального искусственного интеллекта.
English
This paper presents VideoLoom, a unified Video Large Language Model (Video LLM) for joint spatial-temporal understanding. To facilitate the development of fine-grained spatial and temporal localization capabilities, we curate LoomData-8.7k, a human-centric video dataset with temporally grounded and spatially localized captions. With this, VideoLoom achieves state-of-the-art or highly competitive performance across a variety of spatial and temporal benchmarks (e.g., 63.1 J&F on ReVOS for referring video object segmentation, and 48.3 R1@0.7 on Charades-STA for temporal grounding). In addition, we introduce LoomBench, a novel benchmark consisting of temporal, spatial, and compositional video-question pairs, enabling a comprehensive evaluation of Video LLMs from diverse aspects. Collectively, these contributions offer a universal and effective suite for joint spatial-temporal video understanding, setting a new standard in multimodal intelligence.