TimeChat-Captioner: Создание сценариев для многоплановых видео с использованием временно-ориентированных и структурных аудиовизуальных описаний
TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions
February 9, 2026
Авторы: Linli Yao, Yuancheng Wei, Yaojie Zhang, Lei Li, Xinlong Chen, Feifan Song, Ziyue Wang, Kun Ouyang, Yuanxin Liu, Lingpeng Kong, Qi Liu, Pengfei Wan, Kun Gai, Yuanxing Zhang, Xu Sun
cs.AI
Аннотация
В данной статье представлена задача Omni Dense Captioning — новый подход к генерации непрерывных, детализированных и структурированных аудиовизуальных описаний с явными временными метками. Для обеспечения плотного семантического охвата мы вводим шестимерную структурную схему для создания «сценарных» описаний, позволяющих читателю живо представить содержание видео сцена за сценой, подобно кинематографическому сценарию. Для стимулирования исследований мы создали OmniDCBench — качественный, размеченный человеком бенчмарк, и предложили SodaM — унифицированную метрику, которая оценивает детализированные описания с учётом времени, одновременно смягчая неоднозначность границ сцен. Кроме того, мы собрали обучающий набор данных TimeChatCap-42K и представили TimeChat-Captioner-7B — сильную базовую модель, обученную с помощью SFT и GRPO со специализированными вознаграждениями для задачи. Многочисленные эксперименты демонстрируют, что TimeChat-Captioner-7B достигает наилучших результатов, превосходя Gemini-2.5-Pro, а её детализированные описания значительно улучшают возможности решения смежных задач: аудиовизуального reasoning (DailyOmni и WorldSense) и временной локализации (Charades-STA). Все наборы данных, модели и код будут общедоступны по адресу https://github.com/yaolinli/TimeChat-Captioner.
English
This paper proposes Omni Dense Captioning, a novel task designed to generate continuous, fine-grained, and structured audio-visual narratives with explicit timestamps. To ensure dense semantic coverage, we introduce a six-dimensional structural schema to create "script-like" captions, enabling readers to vividly imagine the video content scene by scene, akin to a cinematographic screenplay. To facilitate research, we construct OmniDCBench, a high-quality, human-annotated benchmark, and propose SodaM, a unified metric that evaluates time-aware detailed descriptions while mitigating scene boundary ambiguity. Furthermore, we construct a training dataset, TimeChatCap-42K, and present TimeChat-Captioner-7B, a strong baseline trained via SFT and GRPO with task-specific rewards. Extensive experiments demonstrate that TimeChat-Captioner-7B achieves state-of-the-art performance, surpassing Gemini-2.5-Pro, while its generated dense descriptions significantly boost downstream capabilities in audio-visual reasoning (DailyOmni and WorldSense) and temporal grounding (Charades-STA). All datasets, models, and code will be made publicly available at https://github.com/yaolinli/TimeChat-Captioner.