TimeChat-Captioner: Het Scripten van Multi-Scène Video's met Tijdbewuste en Structurele Audio-Visuele Bijschriften
TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions
February 9, 2026
Auteurs: Linli Yao, Yuancheng Wei, Yaojie Zhang, Lei Li, Xinlong Chen, Feifan Song, Ziyue Wang, Kun Ouyang, Yuanxin Liu, Lingpeng Kong, Qi Liu, Pengfei Wan, Kun Gai, Yuanxing Zhang, Xu Sun
cs.AI
Samenvatting
Dit artikel introduceert Omni Dense Captioning, een nieuwe taak die ontworpen is om continue, fijnmazige en gestructureerde audio-visuele narratieven met expliciete tijdstempels te genereren. Om een dichte semantische dekking te garanderen, introduceren we een zesdimensionaal structureel schema om "scriptachtige" bijschriften te creëren, waardoor lezers de videocontent scène voor scène levendig kunnen voorstellen, vergelijkbaar met een cinematografisch scenario. Om onderzoek te faciliteren, construeren we OmniDCBench, een hoogwaardige, door mensen geannoteerde benchmark, en stellen we SodaM voor, een uniforme metric die tijdbewuste gedetailleerde beschrijvingen evalueert en tegelijkertijd ambiguïteit in scènegrenzen vermindert. Verder construeren we een traininsdataset, TimeChatCap-42K, en presenteren we TimeChat-Captioner-7B, een sterke baseline getraind via SFT en GRPO met taakspecifieke beloningen. Uitgebreide experimenten tonen aan dat TimeChat-Captioner-7B state-of-the-art prestaties bereikt en Gemini-2.5-Pro overtreft, terwijl de gegenereerde dense beschrijvingen de downstream-capaciteiten in audio-visueel redeneren (DailyOmni en WorldSense) en temporele grounding (Charades-STA) aanzienlijk verbeteren. Alle datasets, modellen en code worden openbaar beschikbaar gesteld op https://github.com/yaolinli/TimeChat-Captioner.
English
This paper proposes Omni Dense Captioning, a novel task designed to generate continuous, fine-grained, and structured audio-visual narratives with explicit timestamps. To ensure dense semantic coverage, we introduce a six-dimensional structural schema to create "script-like" captions, enabling readers to vividly imagine the video content scene by scene, akin to a cinematographic screenplay. To facilitate research, we construct OmniDCBench, a high-quality, human-annotated benchmark, and propose SodaM, a unified metric that evaluates time-aware detailed descriptions while mitigating scene boundary ambiguity. Furthermore, we construct a training dataset, TimeChatCap-42K, and present TimeChat-Captioner-7B, a strong baseline trained via SFT and GRPO with task-specific rewards. Extensive experiments demonstrate that TimeChat-Captioner-7B achieves state-of-the-art performance, surpassing Gemini-2.5-Pro, while its generated dense descriptions significantly boost downstream capabilities in audio-visual reasoning (DailyOmni and WorldSense) and temporal grounding (Charades-STA). All datasets, models, and code will be made publicly available at https://github.com/yaolinli/TimeChat-Captioner.