Обрезка звуковых совпадений: поиск и создание соответствующих аудиопереходов в фильмах и видео.

Audio Match Cutting: Finding and Creating Matching Audio Transitions in Movies and Videos

August 20, 2024

Авторы: Dennis Fedorishin, Lie Lu, Srirangaraj Setlur, Venu Govindaraju

cs.AI

Аннотация

"Монтаж совпадения" - это распространенная техника видеомонтажа, при которой пара кадров с похожей композицией плавно переходит друг в друга. Хотя монтажи совпадения чаще визуальные, определенные монтажи включают плавный переход звука, когда звуки из разных источников сливаются в один неразличимый переход между двумя кадрами. В данной статье мы исследуем возможность автоматического обнаружения и создания "аудио монтажей совпадения" в видео и фильмах. Мы создаем самонаблюдаемое аудио представление для аудио монтажа совпадения и разрабатываем грубо-детальный аудио монтажный конвейер, который рекомендует соответствующие кадры и создает смешанное аудио. Мы также аннотируем набор данных для предложенной задачи аудио монтажа совпадения и сравниваем способность нескольких аудио представлений находить кандидатов для аудио монтажа совпадения. Наконец, мы оцениваем несколько методов смешивания двух соответствующих аудио кандидатов с целью создания плавного перехода. Страница проекта и примеры доступны по адресу: https://denfed.github.io/audiomatchcut/

English

A "match cut" is a common video editing technique where a pair of shots that have a similar composition transition fluidly from one to another. Although match cuts are often visual, certain match cuts involve the fluid transition of audio, where sounds from different sources merge into one indistinguishable transition between two shots. In this paper, we explore the ability to automatically find and create "audio match cuts" within videos and movies. We create a self-supervised audio representation for audio match cutting and develop a coarse-to-fine audio match pipeline that recommends matching shots and creates the blended audio. We further annotate a dataset for the proposed audio match cut task and compare the ability of multiple audio representations to find audio match cut candidates. Finally, we evaluate multiple methods to blend two matching audio candidates with the goal of creating a smooth transition. Project page and examples are available at: https://denfed.github.io/audiomatchcut/