Audio-Match-Schnitt: Finden und Erstellen passender Audio-Übergänge in Filmen und Videos

Audio Match Cutting: Finding and Creating Matching Audio Transitions in Movies and Videos

August 20, 2024

Autoren: Dennis Fedorishin, Lie Lu, Srirangaraj Setlur, Venu Govindaraju

cs.AI

Zusammenfassung

Ein "Match Cut" ist eine gängige Videobearbeitungstechnik, bei der ein Paar von Aufnahmen mit ähnlicher Komposition fließend von einer zur anderen übergeht. Obwohl Match Cuts oft visuell sind, beinhalten bestimmte Match Cuts auch den fließenden Übergang von Audio, bei dem Klänge aus verschiedenen Quellen zu einem ununterscheidbaren Übergang zwischen zwei Aufnahmen verschmelzen. In diesem Paper untersuchen wir die Fähigkeit, "Audio-Match Cuts" innerhalb von Videos und Filmen automatisch zu finden und zu erstellen. Wir erstellen eine selbstüberwachte Audio-Repräsentation für das Audio-Match-Cutting und entwickeln einen grob-zu-fein Audio-Match-Pipeline, die passende Aufnahmen empfiehlt und das gemischte Audio erstellt. Darüber hinaus annotieren wir einen Datensatz für die vorgeschlagene Audio-Match-Cut-Aufgabe und vergleichen die Fähigkeit mehrerer Audio-Repräsentationen, Audio-Match-Cut-Kandidaten zu finden. Schließlich bewerten wir mehrere Methoden, um zwei übereinstimmende Audio-Kandidaten zu mischen, mit dem Ziel, einen reibungslosen Übergang zu schaffen. Das Projekt und Beispiele sind verfügbar unter: https://denfed.github.io/audiomatchcut/

English

A "match cut" is a common video editing technique where a pair of shots that have a similar composition transition fluidly from one to another. Although match cuts are often visual, certain match cuts involve the fluid transition of audio, where sounds from different sources merge into one indistinguishable transition between two shots. In this paper, we explore the ability to automatically find and create "audio match cuts" within videos and movies. We create a self-supervised audio representation for audio match cutting and develop a coarse-to-fine audio match pipeline that recommends matching shots and creates the blended audio. We further annotate a dataset for the proposed audio match cut task and compare the ability of multiple audio representations to find audio match cut candidates. Finally, we evaluate multiple methods to blend two matching audio candidates with the goal of creating a smooth transition. Project page and examples are available at: https://denfed.github.io/audiomatchcut/