Audio Match Cutting: Individuare e Creare Transizioni Audio Combacianti in Film e Video

Audio Match Cutting: Finding and Creating Matching Audio Transitions in Movies and Videos

August 20, 2024

Autori: Dennis Fedorishin, Lie Lu, Srirangaraj Setlur, Venu Govindaraju

cs.AI

Abstract

Un "match cut" è una comune tecnica di montaggio video in cui una coppia di inquadrature con una composizione simile transita fluidamente dall'una all'altra. Sebbene i match cut siano spesso visivi, alcuni match cut coinvolgono la transizione fluida dell'audio, dove suoni provenienti da fonti diverse si fondono in una transizione indistinguibile tra due inquadrature. In questo articolo, esploriamo la capacità di trovare e creare automaticamente "audio match cut" all'interno di video e film. Creiamo una rappresentazione audio auto-supervisionata per il match cut audio e sviluppiamo una pipeline di match cut audio da grossolana a fine che suggerisce inquadrature corrispondenti e crea l'audio miscelato. Inoltre, annotiamo un dataset per il compito proposto di audio match cut e confrontiamo la capacità di multiple rappresentazioni audio di trovare candidati per audio match cut. Infine, valutiamo diversi metodi per fondere due candidati audio corrispondenti con l'obiettivo di creare una transizione fluida. La pagina del progetto e gli esempi sono disponibili all'indirizzo: https://denfed.github.io/audiomatchcut/

English

A "match cut" is a common video editing technique where a pair of shots that have a similar composition transition fluidly from one to another. Although match cuts are often visual, certain match cuts involve the fluid transition of audio, where sounds from different sources merge into one indistinguishable transition between two shots. In this paper, we explore the ability to automatically find and create "audio match cuts" within videos and movies. We create a self-supervised audio representation for audio match cutting and develop a coarse-to-fine audio match pipeline that recommends matching shots and creates the blended audio. We further annotate a dataset for the proposed audio match cut task and compare the ability of multiple audio representations to find audio match cut candidates. Finally, we evaluate multiple methods to blend two matching audio candidates with the goal of creating a smooth transition. Project page and examples are available at: https://denfed.github.io/audiomatchcut/