Corte de Emparejamiento de Audio: Encontrar y Crear Transiciones de Audio Coincidentes en Películas y Videos
Audio Match Cutting: Finding and Creating Matching Audio Transitions in Movies and Videos
August 20, 2024
Autores: Dennis Fedorishin, Lie Lu, Srirangaraj Setlur, Venu Govindaraju
cs.AI
Resumen
Un "corte coincidente" es una técnica común de edición de video donde un par de tomas con una composición similar hacen una transición fluida de una a otra. Aunque los cortes coincidentes suelen ser visuales, ciertos cortes coincidentes implican la transición fluida de audio, donde sonidos de diferentes fuentes se fusionan en una transición indistinguible entre dos tomas. En este documento, exploramos la capacidad de encontrar y crear automáticamente "cortes coincidentes de audio" dentro de videos y películas. Creamos una representación de audio auto-supervisada para el corte coincidente de audio y desarrollamos un proceso de corte coincidente de audio de grueso a fino que recomienda tomas coincidentes y crea el audio mezclado. Además, anotamos un conjunto de datos para la tarea propuesta de corte coincidente de audio y comparamos la capacidad de múltiples representaciones de audio para encontrar candidatos a cortes coincidentes de audio. Finalmente, evaluamos múltiples métodos para mezclar dos candidatos a cortes coincidentes de audio con el objetivo de crear una transición suave. La página del proyecto y ejemplos están disponibles en: https://denfed.github.io/audiomatchcut/
English
A "match cut" is a common video editing technique where a pair of shots that
have a similar composition transition fluidly from one to another. Although
match cuts are often visual, certain match cuts involve the fluid transition of
audio, where sounds from different sources merge into one indistinguishable
transition between two shots. In this paper, we explore the ability to
automatically find and create "audio match cuts" within videos and movies. We
create a self-supervised audio representation for audio match cutting and
develop a coarse-to-fine audio match pipeline that recommends matching shots
and creates the blended audio. We further annotate a dataset for the proposed
audio match cut task and compare the ability of multiple audio representations
to find audio match cut candidates. Finally, we evaluate multiple methods to
blend two matching audio candidates with the goal of creating a smooth
transition. Project page and examples are available at:
https://denfed.github.io/audiomatchcut/