ARC-Chapter: Структурирование часовых видео в навигационные главы и иерархические сводки
ARC-Chapter: Structuring Hour-Long Videos into Navigable Chapters and Hierarchical Summaries
November 18, 2025
Авторы: Junfu Pu, Teng Wang, Yixiao Ge, Yuying Ge, Chen Li, Ying Shan
cs.AI
Аннотация
Распространение часовых видеоматериалов (лекций, подкастов, документальных фильмов) усилило потребность в эффективной структуризации контента. Однако существующие подходы ограничены обучением на небольших наборах данных с краткими и обобщенными аннотациями, что снижает их способность к обобщению тонких переходов в длинных видео. Мы представляем ARC-Chapter — первую крупномасштабную модель разделения видео на главы, обученную на более чем миллионе аннотированных глав длинных видео с двуязычными, временно привязанными и иерархическими аннотациями глав. Для достижения этой цели мы создали двуязычный англо-китайский набор данных глав с помощью структурированного конвейера, объединяющего транскрипты ASR, текстовые сцены и визуальные описания в многоуровневые аннотации — от кратких заголовков до развернутых summaries. Мы демонстрируем значительное улучшение производительности при масштабировании данных как по объему, так и по детализации аннотаций. Кроме того, мы разработали новую метрику оценки GRACE, учитывающую множественные пересечения сегментов и семантическое сходство, что лучше отражает гибкость разделения на главы в реальных условиях. Многочисленные эксперименты показывают, что ARC-Chapter устанавливает новый state-of-the-art с существенным отрывом, превосходя предыдущий лучший результат на 14.0% по F1-мере и 11.3% по SODA. Более того, модель демонстрирует отличную трансферную способность, улучшая state-of-the-art в таких downstream-задачах, как плотное описание видео на наборе данных YouCook2.
English
The proliferation of hour-long videos (e.g., lectures, podcasts, documentaries) has intensified demand for efficient content structuring. However, existing approaches are constrained by small-scale training with annotations that are typical short and coarse, restricting generalization to nuanced transitions in long videos. We introduce ARC-Chapter, the first large-scale video chaptering model trained on over million-level long video chapters, featuring bilingual, temporally grounded, and hierarchical chapter annotations. To achieve this goal, we curated a bilingual English-Chinese chapter dataset via a structured pipeline that unifies ASR transcripts, scene texts, visual captions into multi-level annotations, from short title to long summaries. We demonstrate clear performance improvements with data scaling, both in data volume and label intensity. Moreover, we design a new evaluation metric termed GRACE, which incorporates many-to-one segment overlaps and semantic similarity, better reflecting real-world chaptering flexibility. Extensive experiments demonstrate that ARC-Chapter establishes a new state-of-the-art by a significant margin, outperforming the previous best by 14.0% in F1 score and 11.3% in SODA score. Moreover, ARC-Chapter shows excellent transferability, improving the state-of-the-art on downstream tasks like dense video captioning on YouCook2.