ARC-Capítulo: Estruturação de Vídeos de Longa Duração em Capítulos Navegáveis e Resumos Hierárquicos
ARC-Chapter: Structuring Hour-Long Videos into Navigable Chapters and Hierarchical Summaries
November 18, 2025
Autores: Junfu Pu, Teng Wang, Yixiao Ge, Yuying Ge, Chen Li, Ying Shan
cs.AI
Resumo
A proliferação de vídeos com duração de uma hora (por exemplo, palestras, podcasts, documentários) intensificou a demanda por uma estruturação eficiente de conteúdo. No entanto, as abordagens existentes são limitadas pelo treinamento em pequena escala com anotações tipicamente curtas e grosseiras, o que restringe a generalização para transições sutis em vídeos longos. Apresentamos o ARC-Chapter, o primeiro modelo de capítulo de vídeo em larga escala treinado com mais de um milhão de capítulos de vídeos longos, caracterizado por anotações de capítulos bilíngues, temporalmente fundamentadas e hierárquicas. Para alcançar este objetivo, organizamos um conjunto de dados de capítulos bilíngue inglês-chinês por meio de um pipeline estruturado que unifica transcrições ASR, textos de cena e legendas visuais em anotações de múltiplos níveis, desde títulos curtos até resumos longos. Demonstramos melhorias claras de desempenho com a escala de dados, tanto em volume de dados quanto em intensidade de rótulos. Além disso, projetamos uma nova métrica de avaliação denominada GRACE, que incorpora sobreposições de segmentos muitos-para-um e similaridade semântica, refletindo melhor a flexibilidade de capítulo do mundo real. Experimentos extensivos demonstram que o ARC-Chapter estabelece um novo estado da arte por uma margem significativa, superando o melhor anterior em 14,0% no score F1 e 11,3% no score SODA. Além disso, o ARC-Chapter mostra excelente transferibilidade, melhorando o estado da arte em tarefas subsequentes, como a legendagem densa de vídeo no YouCook2.
English
The proliferation of hour-long videos (e.g., lectures, podcasts, documentaries) has intensified demand for efficient content structuring. However, existing approaches are constrained by small-scale training with annotations that are typical short and coarse, restricting generalization to nuanced transitions in long videos. We introduce ARC-Chapter, the first large-scale video chaptering model trained on over million-level long video chapters, featuring bilingual, temporally grounded, and hierarchical chapter annotations. To achieve this goal, we curated a bilingual English-Chinese chapter dataset via a structured pipeline that unifies ASR transcripts, scene texts, visual captions into multi-level annotations, from short title to long summaries. We demonstrate clear performance improvements with data scaling, both in data volume and label intensity. Moreover, we design a new evaluation metric termed GRACE, which incorporates many-to-one segment overlaps and semantic similarity, better reflecting real-world chaptering flexibility. Extensive experiments demonstrate that ARC-Chapter establishes a new state-of-the-art by a significant margin, outperforming the previous best by 14.0% in F1 score and 11.3% in SODA score. Moreover, ARC-Chapter shows excellent transferability, improving the state-of-the-art on downstream tasks like dense video captioning on YouCook2.