TimeChat-Captioner: 시간 인식 및 구조적 오디오-비주얼 캡션을 활용한 다중 장면 비디오 스크립팅

TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions

February 9, 2026

저자: Linli Yao, Yuancheng Wei, Yaojie Zhang, Lei Li, Xinlong Chen, Feifan Song, Ziyue Wang, Kun Ouyang, Yuanxin Liu, Lingpeng Kong, Qi Liu, Pengfei Wan, Kun Gai, Yuanxing Zhang, Xu Sun

cs.AI

초록

본 논문은 명시적 타임스탬프를 포함한 연속적이고 세밀하며 구조화된 오디오-비주얼 서사를 생성하기 위한 새로운 과제인 Omni Dense Captioning을 제안한다. 밀집된 의미론적 coverage를 보장하기 위해, 영화 시나리오와 유사하게 독자가 장면별로 비디오 내용을 생생하게 상상할 수 있는 "스크립트 형식" 캡션을 생성하는 6차원 구조 스키마를 도입한다. 연구 촉진을 위해 고품질의 인간 주석 기반 벤치마크인 OmniDCBench을 구축하고, 장면 경계 모호성을 완화하면서 시간 인식 상세 설명을 평가하는 통합 지표인 SodaM을 제안한다. 더 나아가 학습 데이터셋인 TimeChatCap-42K를 구축하고, 과제 특화 보상 기반 SFT 및 GRPO로 학습된 강력한 베이스라인 모델인 TimeChat-Captioner-7B를 제시한다. 폭넓은 실험을 통해 TimeChat-Captioner-7B가 Gemini-2.5-Pro를 능가하는 최첨단 성능을 달성함을 입증하며, 해당 모델이 생성한 밀집 설명이 오디오-비주얼 추론(DailyOmni 및 WorldSense) 및 시간적 grounding(Charades-STA) 하위 과제 성능을 크게 향상시킴을 보인다. 모든 데이터셋, 모델 및 코드는 https://github.com/yaolinli/TimeChat-Captioner에서 공개될 예정이다.

English

This paper proposes Omni Dense Captioning, a novel task designed to generate continuous, fine-grained, and structured audio-visual narratives with explicit timestamps. To ensure dense semantic coverage, we introduce a six-dimensional structural schema to create "script-like" captions, enabling readers to vividly imagine the video content scene by scene, akin to a cinematographic screenplay. To facilitate research, we construct OmniDCBench, a high-quality, human-annotated benchmark, and propose SodaM, a unified metric that evaluates time-aware detailed descriptions while mitigating scene boundary ambiguity. Furthermore, we construct a training dataset, TimeChatCap-42K, and present TimeChat-Captioner-7B, a strong baseline trained via SFT and GRPO with task-specific rewards. Extensive experiments demonstrate that TimeChat-Captioner-7B achieves state-of-the-art performance, surpassing Gemini-2.5-Pro, while its generated dense descriptions significantly boost downstream capabilities in audio-visual reasoning (DailyOmni and WorldSense) and temporal grounding (Charades-STA). All datasets, models, and code will be made publicly available at https://github.com/yaolinli/TimeChat-Captioner.