Audio Match Cutting: Het vinden en creëren van passende audio-overgangen in films en video's

Audio Match Cutting: Finding and Creating Matching Audio Transitions in Movies and Videos

August 20, 2024

Auteurs: Dennis Fedorishin, Lie Lu, Srirangaraj Setlur, Venu Govindaraju

cs.AI

Samenvatting

Een "match cut" is een veelgebruikte videobewerkingstechniek waarbij een paar shots met een vergelijkbare compositie soepel in elkaar overgaan. Hoewel match cuts vaak visueel zijn, kunnen bepaalde match cuts ook een vloeiende overgang van audio omvatten, waarbij geluiden uit verschillende bronnen samensmelten tot een ononderscheidbare overgang tussen twee shots. In dit artikel onderzoeken we de mogelijkheid om automatisch "audio match cuts" te vinden en te creëren binnen video's en films. We creëren een zelfgestuurde audiorepresentatie voor audio match cutting en ontwikkelen een grof-naar-fijn audio match-pipeline die passende shots aanbeveelt en het gemengde audio creëert. We annoteren verder een dataset voor de voorgestelde audio match cut-taak en vergelijken het vermogen van meerdere audiorepresentaties om audio match cut-kandidaten te vinden. Tot slot evalueren we meerdere methoden om twee passende audiokandidaten te mengen met als doel een soepele overgang te creëren. De projectpagina en voorbeelden zijn beschikbaar op: https://denfed.github.io/audiomatchcut/

English

A "match cut" is a common video editing technique where a pair of shots that have a similar composition transition fluidly from one to another. Although match cuts are often visual, certain match cuts involve the fluid transition of audio, where sounds from different sources merge into one indistinguishable transition between two shots. In this paper, we explore the ability to automatically find and create "audio match cuts" within videos and movies. We create a self-supervised audio representation for audio match cutting and develop a coarse-to-fine audio match pipeline that recommends matching shots and creates the blended audio. We further annotate a dataset for the proposed audio match cut task and compare the ability of multiple audio representations to find audio match cut candidates. Finally, we evaluate multiple methods to blend two matching audio candidates with the goal of creating a smooth transition. Project page and examples are available at: https://denfed.github.io/audiomatchcut/