OmniShotCut: Holistische Relationele Shotgrensdetectie met Shot-Query Transformer
OmniShotCut: Holistic Relational Shot Boundary Detection with Shot-Query Transformer
April 27, 2026
Auteurs: Boyang Wang, Guangyi Xu, Zhipeng Tang, Jiahui Zhang, Zezhou Cheng
cs.AI
Samenvatting
Shot Boundary Detection (SBD) heeft als doel om automatisch shotovergangen te identificeren en een video in samenhangende shots te verdelen. Hoewel SBD uitgebreid is bestudeerd in de literatuur, produceren bestaande state-of-the-art methoden vaak niet-interpreteerbare grenzen bij overgangen, missen ze subtiele maar schadelijke discontinuïteiten, en zijn ze afhankelijk van onnauwkeurige, weinig diverse annotaties en verouderde benchmarks. Om deze beperkingen te verlichten, stellen we OmniShotCut voor, dat SBD formuleert als gestructureerde relationele voorspelling, waarbij shotreeksen gezamenlijk worden geschat met intra-shot relaties en inter-shot relaties, door middel van een op shot-queries gebaseerde dense video Transformer. Om onnauwkeurige handmatige labeling te vermijden, hanteren we een volledig synthetisch overgangssyntheseproces dat automatisch de belangrijkste overgangsfamilies reproduceert met precieze grenzen en geparametriseerde varianten. We introduceren tevens OmniShotCutBench, een moderne, breed-domein benchmark die holistische en diagnostische evaluatie mogelijk maakt.
English
Shot Boundary Detection (SBD) aims to automatically identify shot changes and divide a video into coherent shots. While SBD was widely studied in the literature, existing state-of-the-art methods often produce non-interpretable boundaries on transitions, miss subtle yet harmful discontinuities, and rely on noisy, low-diversity annotations and outdated benchmarks. To alleviate these limitations, we propose OmniShotCut to formulate SBD as structured relational prediction, jointly estimating shot ranges with intra-shot relations and inter-shot relations, by a shot query-based dense video Transformer. To avoid imprecise manual labeling, we adopt a fully synthetic transition synthesis pipeline that automatically reproduces major transition families with precise boundaries and parameterized variants. We also introduce OmniShotCutBench, a modern wide-domain benchmark enabling holistic and diagnostic evaluation.