OmniShotCut: Detecção Holística de Limites de Corte Relacional com Transformador de Consulta de Corte
OmniShotCut: Holistic Relational Shot Boundary Detection with Shot-Query Transformer
April 27, 2026
Autores: Boyang Wang, Guangyi Xu, Zhipeng Tang, Jiahui Zhang, Zezhou Cheng
cs.AI
Resumo
A Detecção de Limites de Plano (SBD) visa identificar automaticamente as mudanças de plano e dividir um vídeo em planos coerentes. Embora a SBD tenha sido amplamente estudada na literatura, os métodos state-of-the-art existentes frequentemente produzem limites não interpretáveis nas transições, omitem descontinuidades sutis, porém prejudiciais, e dependem de anotações ruidosas, de baixa diversidade e de benchmarks desatualizados. Para mitigar essas limitações, propomos o OmniShotCut, que formula a SBD como uma previsão relacional estruturada, estimando conjuntamente os intervalos dos planos com relações intra-plano e relações inter-plano, por meio de um Transformer de vídeo denso baseado em consultas de plano. Para evitar a rotulagem manual imprecisa, adotamos um pipeline de síntese de transição totalmente sintético que reproduz automaticamente as principais famílias de transições com limites precisos e variantes parametrizadas. Também introduzimos o OmniShotCutBench, um benchmark moderno e de amplo domínio que permite uma avaliação holística e diagnóstica.
English
Shot Boundary Detection (SBD) aims to automatically identify shot changes and divide a video into coherent shots. While SBD was widely studied in the literature, existing state-of-the-art methods often produce non-interpretable boundaries on transitions, miss subtle yet harmful discontinuities, and rely on noisy, low-diversity annotations and outdated benchmarks. To alleviate these limitations, we propose OmniShotCut to formulate SBD as structured relational prediction, jointly estimating shot ranges with intra-shot relations and inter-shot relations, by a shot query-based dense video Transformer. To avoid imprecise manual labeling, we adopt a fully synthetic transition synthesis pipeline that automatically reproduces major transition families with precise boundaries and parameterized variants. We also introduce OmniShotCutBench, a modern wide-domain benchmark enabling holistic and diagnostic evaluation.