OmniShotCut: Rilevamento Olistico Relazionale dei Confini degli Shot con Shot-Query Transformer
OmniShotCut: Holistic Relational Shot Boundary Detection with Shot-Query Transformer
April 27, 2026
Autori: Boyang Wang, Guangyi Xu, Zhipeng Tang, Jiahui Zhang, Zezhou Cheng
cs.AI
Abstract
La rilevazione automatica dei cambi di inquadratura (Shot Boundary Detection - SBD) mira a identificare automaticamente i cambi di scena e a suddividere un video in sequenze coerenti. Sebbene la SBD sia stata ampiamente studiata in letteratura, i metodi allo stato dell'arte spesso producono delimitazioni non interpretabili sulle transizioni, tralasciano discontinuità sottili ma dannose e si basano su annotazioni rumorose, a bassa diversità e su benchmark obsoleti. Per mitigare queste limitazioni, proponiamo OmniShotCut, che formula la SBD come una previsione relazionale strutturata, stimando congiuntamente gli intervalli delle inquadrature con relazioni intra-shot e inter-shot, mediante un Transformer video denso basato su query di scena. Per evitare un'etichettatura manuale imprecisa, adottiamo una pipeline di sintesi delle transizioni completamente sintetica che riproduce automaticamente le principali famiglie di transizioni con delimitazioni precise e varianti parametriche. Introduciamo inoltre OmniShotCutBench, un benchmark moderno e ad ampio dominio che consente una valutazione olistica e diagnostica.
English
Shot Boundary Detection (SBD) aims to automatically identify shot changes and divide a video into coherent shots. While SBD was widely studied in the literature, existing state-of-the-art methods often produce non-interpretable boundaries on transitions, miss subtle yet harmful discontinuities, and rely on noisy, low-diversity annotations and outdated benchmarks. To alleviate these limitations, we propose OmniShotCut to formulate SBD as structured relational prediction, jointly estimating shot ranges with intra-shot relations and inter-shot relations, by a shot query-based dense video Transformer. To avoid imprecise manual labeling, we adopt a fully synthetic transition synthesis pipeline that automatically reproduces major transition families with precise boundaries and parameterized variants. We also introduce OmniShotCutBench, a modern wide-domain benchmark enabling holistic and diagnostic evaluation.