OmniShotCut : Détection holistique des limites de plans relationnels avec un transformateur à requêtes de plans

Résumé

La détection de limites de plans (SBD) vise à identifier automatiquement les changements de plans et à diviser une vidéo en plans cohérents. Bien que la SBD ait été largement étudiée dans la littérature, les méthodes état de l'art existantes produisent souvent des limites non interprétables sur les transitions, manquent des discontinuités subtiles mais préjudiciables, et reposent sur des annotations bruitées et peu diversifiées ainsi que sur des benchmarks obsolètes. Pour pallier ces limitations, nous proposons OmniShotCut, qui formule la SBD comme une prédiction relationnelle structurée, en estimant conjointement les intervalles de plans avec des relations intra-plan et inter-plans, grâce à un Transformer vidéo dense basé sur des requêtes de plan. Pour éviter un étiquetage manuel imprécis, nous adoptons un pipeline de synthèse de transitions entièrement synthétique qui reproduit automatiquement les principales familles de transitions avec des limites précises et des variants paramétrés. Nous introduisons également OmniShotCutBench, un benchmark moderne à large domaine permettant une évaluation holistique et diagnostique.

English

Shot Boundary Detection (SBD) aims to automatically identify shot changes and divide a video into coherent shots. While SBD was widely studied in the literature, existing state-of-the-art methods often produce non-interpretable boundaries on transitions, miss subtle yet harmful discontinuities, and rely on noisy, low-diversity annotations and outdated benchmarks. To alleviate these limitations, we propose OmniShotCut to formulate SBD as structured relational prediction, jointly estimating shot ranges with intra-shot relations and inter-shot relations, by a shot query-based dense video Transformer. To avoid imprecise manual labeling, we adopt a fully synthetic transition synthesis pipeline that automatically reproduces major transition families with precise boundaries and parameterized variants. We also introduce OmniShotCutBench, a modern wide-domain benchmark enabling holistic and diagnostic evaluation.