VideoLoom: Ein großes Sprachmodell für Videos zum gemeinsamen räumlich-zeitlichen Verständnis
VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding
January 12, 2026
papers.authors: Jiapeng Shi, Junke Wang, Zuyao You, Bo He, Zuxuan Wu
cs.AI
papers.abstract
Dieses Paper stellt VideoLoom vor, ein einheitliches Video Large Language Model (Video LLM) für gemeinsames räumlich-zeitliches Verständnis. Um die Entwicklung feinkörniger räumlicher und zeitlicher Lokalisierungsfähigkeiten zu fördern, haben wir LoomData-8.7k zusammengestellt, einen menschenzentrierten Videodatensatz mit zeitlich verankerten und räumlich lokalisierten Beschreibungen. Damit erzielt VideoLoom state-of-the-art oder äußerst wettbewerbsfähige Leistungen in einer Vielzahl von räumlichen und zeitlichen Benchmarks (z.B. 63,1 J&F bei ReVOS für Referring Video Object Segmentation und 48,3 R1@0,7 bei Charades-STA für Temporal Grounding). Zusätzlich führen wir LoomBench ein, einen neuartigen Benchmark, der zeitliche, räumliche und kompositionelle Video-Frage-Paare umfasst und eine umfassende Bewertung von Video LLMs aus verschiedenen Blickwinkeln ermöglicht. Zusammengenommen bieten diese Beiträge eine universelle und effektive Lösung für das gemeinsame räumlich-zeitliche Videoverständnis und setzen damit einen neuen Standard in der multimodalen Intelligenz.
English
This paper presents VideoLoom, a unified Video Large Language Model (Video LLM) for joint spatial-temporal understanding. To facilitate the development of fine-grained spatial and temporal localization capabilities, we curate LoomData-8.7k, a human-centric video dataset with temporally grounded and spatially localized captions. With this, VideoLoom achieves state-of-the-art or highly competitive performance across a variety of spatial and temporal benchmarks (e.g., 63.1 J&F on ReVOS for referring video object segmentation, and 48.3 R1@0.7 on Charades-STA for temporal grounding). In addition, we introduce LoomBench, a novel benchmark consisting of temporal, spatial, and compositional video-question pairs, enabling a comprehensive evaluation of Video LLMs from diverse aspects. Collectively, these contributions offer a universal and effective suite for joint spatial-temporal video understanding, setting a new standard in multimodal intelligence.