Découpage de correspondance audio : Trouver et créer des transitions audio correspondantes dans les films et les vidéos

Audio Match Cutting: Finding and Creating Matching Audio Transitions in Movies and Videos

August 20, 2024

Auteurs: Dennis Fedorishin, Lie Lu, Srirangaraj Setlur, Venu Govindaraju

cs.AI

Résumé

Un "match cut" est une technique courante de montage vidéo où une paire de plans ayant une composition similaire transitionne de manière fluide l'un vers l'autre. Bien que les match cuts soient souvent visuels, certains match cuts impliquent la transition fluide de l'audio, où des sons provenant de différentes sources se fondent en une transition indiscernable entre deux plans. Dans cet article, nous explorons la capacité de trouver et créer automatiquement des "match cuts audio" au sein de vidéos et de films. Nous créons une représentation audio auto-supervisée pour le découpage audio en match et développons un pipeline audio grossier à fin qui recommande des plans correspondants et crée l'audio fusionné. Nous annotons en outre un ensemble de données pour la tâche de match cut audio proposée et comparons la capacité de plusieurs représentations audio à trouver des candidats au match cut audio. Enfin, nous évaluons plusieurs méthodes pour fusionner deux candidats audio correspondants dans le but de créer une transition fluide. La page du projet et des exemples sont disponibles sur : https://denfed.github.io/audiomatchcut/

English

A "match cut" is a common video editing technique where a pair of shots that have a similar composition transition fluidly from one to another. Although match cuts are often visual, certain match cuts involve the fluid transition of audio, where sounds from different sources merge into one indistinguishable transition between two shots. In this paper, we explore the ability to automatically find and create "audio match cuts" within videos and movies. We create a self-supervised audio representation for audio match cutting and develop a coarse-to-fine audio match pipeline that recommends matching shots and creates the blended audio. We further annotate a dataset for the proposed audio match cut task and compare the ability of multiple audio representations to find audio match cut candidates. Finally, we evaluate multiple methods to blend two matching audio candidates with the goal of creating a smooth transition. Project page and examples are available at: https://denfed.github.io/audiomatchcut/