오디오 매치 커팅: 영화와 비디오에서 일치하는 오디오 전환을 찾고 만드는 방법

Audio Match Cutting: Finding and Creating Matching Audio Transitions in Movies and Videos

August 20, 2024

저자: Dennis Fedorishin, Lie Lu, Srirangaraj Setlur, Venu Govindaraju

cs.AI

초록

"매치 컷"은 비디오 편집 기술 중 하나로, 유사한 구도를 가진 두 장면이 서로 매끄럽게 전환되는 공통적인 기법입니다. 매치 컷은 주로 시각적이지만, 일부 매치 컷은 오디오의 유동적인 전환을 포함하여 다른 소스에서 나온 소리가 두 장면 사이의 구분할 수 없는 전환으로 융합되는 경우도 있습니다. 본 논문에서는 비디오와 영화 내에서 "오디오 매치 컷"을 자동으로 찾고 생성하는 능력을 탐구합니다. 우리는 오디오 매치 컷을 위한 자가 감독 오디오 표현을 만들고, 일치하는 장면을 추천하고 혼합된 오디오를 생성하는 coarse-to-fine 오디오 매치 파이프라인을 개발합니다. 또한 제안된 오디오 매치 컷 작업을 위해 데이터셋을 주석 처리하고, 여러 오디오 표현의 오디오 매치 컷 후보를 찾는 능력을 비교합니다. 마지막으로, 두 일치하는 오디오 후보를 부드러운 전환을 만들기 위해 혼합하는 여러 방법을 평가합니다. 프로젝트 페이지와 예시는 다음 링크에서 확인할 수 있습니다: https://denfed.github.io/audiomatchcut/

English

A "match cut" is a common video editing technique where a pair of shots that have a similar composition transition fluidly from one to another. Although match cuts are often visual, certain match cuts involve the fluid transition of audio, where sounds from different sources merge into one indistinguishable transition between two shots. In this paper, we explore the ability to automatically find and create "audio match cuts" within videos and movies. We create a self-supervised audio representation for audio match cutting and develop a coarse-to-fine audio match pipeline that recommends matching shots and creates the blended audio. We further annotate a dataset for the proposed audio match cut task and compare the ability of multiple audio representations to find audio match cut candidates. Finally, we evaluate multiple methods to blend two matching audio candidates with the goal of creating a smooth transition. Project page and examples are available at: https://denfed.github.io/audiomatchcut/