Обучение выделению аудио с помощью просмотра фильмов

Learning to Highlight Audio by Watching Movies

May 17, 2025

Авторы: Chao Huang, Ruohan Gao, J. M. F. Tsang, Jan Kurcius, Cagdas Bilen, Chenliang Xu, Anurag Kumar, Sanjeel Parekh

cs.AI

Аннотация

В последние годы наблюдается значительный рост создания и потребления видеоконтента. Создание увлекательного контента требует тщательного подбора как визуальных, так и аудиоэлементов. В то время как подбор визуальных элементов, с использованием таких техник, как выбор оптимального ракурса или постобработка, был центральным аспектом производства медиа, его естественный аналог — аудио — не претерпел аналогичных улучшений. Это часто приводит к разрыву между визуальной и акустической значимостью. Чтобы устранить этот разрыв, мы представляем новую задачу: визуально-направленное акустическое выделение, которое направлено на преобразование аудио для создания соответствующих эффектов выделения, управляемых сопровождающим видео, что в конечном итоге создает более гармоничный аудиовизуальный опыт. Мы предлагаем гибкую мультимодальную архитектуру на основе трансформеров для решения этой задачи. Для обучения нашей модели мы также представляем новый набор данных — набор данных "muddy mix", используя тщательную обработку аудио и видео в фильмах, что обеспечивает форму бесплатного обучения. Мы разрабатываем процесс генерации псевдо-данных для имитации плохо сведенного аудио, воспроизводящего реальные сценарии через трехэтапный процесс — разделение, корректировку и повторное сведение. Наш подход стабильно превосходит несколько базовых методов как в количественной, так и в субъективной оценке. Мы также систематически изучаем влияние различных типов контекстного руководства и уровней сложности набора данных. Наша страница проекта доступна здесь: https://wikichao.github.io/VisAH/.

English

Recent years have seen a significant increase in video content creation and consumption. Crafting engaging content requires the careful curation of both visual and audio elements. While visual cue curation, through techniques like optimal viewpoint selection or post-editing, has been central to media production, its natural counterpart, audio, has not undergone equivalent advancements. This often results in a disconnect between visual and acoustic saliency. To bridge this gap, we introduce a novel task: visually-guided acoustic highlighting, which aims to transform audio to deliver appropriate highlighting effects guided by the accompanying video, ultimately creating a more harmonious audio-visual experience. We propose a flexible, transformer-based multimodal framework to solve this task. To train our model, we also introduce a new dataset -- the muddy mix dataset, leveraging the meticulous audio and video crafting found in movies, which provides a form of free supervision. We develop a pseudo-data generation process to simulate poorly mixed audio, mimicking real-world scenarios through a three-step process -- separation, adjustment, and remixing. Our approach consistently outperforms several baselines in both quantitative and subjective evaluation. We also systematically study the impact of different types of contextual guidance and difficulty levels of the dataset. Our project page is here: https://wikichao.github.io/VisAH/.