Leren om audio te benadrukken door films te bekijken

Learning to Highlight Audio by Watching Movies

May 17, 2025

Auteurs: Chao Huang, Ruohan Gao, J. M. F. Tsang, Jan Kurcius, Cagdas Bilen, Chenliang Xu, Anurag Kumar, Sanjeel Parekh

cs.AI

Samenvatting

De afgelopen jaren is er een aanzienlijke toename geweest in het maken en consumeren van video-inhoud. Het creëren van boeiende content vereist een zorgvuldige selectie van zowel visuele als auditieve elementen. Hoewel de curatie van visuele signalen, via technieken zoals optimaal camerastandpunt selectie of nabewerking, centraal staat in mediaproductie, heeft het natuurlijke tegenhanger, audio, niet dezelfde vooruitgang doorgemaakt. Dit resulteert vaak in een disconnectie tussen visuele en auditieve opvallendheid. Om deze kloof te overbruggen, introduceren we een nieuwe taak: visueel geleide auditieve accentuering, die tot doel heeft audio te transformeren om passende accentuerings effecten te leveren, geleid door de begeleidende video, en uiteindelijk een meer harmonieuze audio-visuele ervaring te creëren. We stellen een flexibel, transformer-gebaseerd multimodaal framework voor om deze taak op te lossen. Om ons model te trainen, introduceren we ook een nieuwe dataset -- de muddy mix dataset, die gebruik maakt van de zorgvuldige audio- en videoproductie die in films wordt gevonden, wat een vorm van gratis supervisie biedt. We ontwikkelen een pseudo-data generatieproces om slecht gemixte audio te simuleren, waarbij real-world scenario's worden nagebootst via een drie-stappen proces -- scheiding, aanpassing en remixen. Onze aanpak presteert consistent beter dan verschillende baseline methoden in zowel kwantitatieve als subjectieve evaluatie. We bestuderen ook systematisch de impact van verschillende soorten contextuele begeleiding en moeilijkheidsgraden van de dataset. Onze projectpagina is hier te vinden: https://wikichao.github.io/VisAH/.

English

Recent years have seen a significant increase in video content creation and consumption. Crafting engaging content requires the careful curation of both visual and audio elements. While visual cue curation, through techniques like optimal viewpoint selection or post-editing, has been central to media production, its natural counterpart, audio, has not undergone equivalent advancements. This often results in a disconnect between visual and acoustic saliency. To bridge this gap, we introduce a novel task: visually-guided acoustic highlighting, which aims to transform audio to deliver appropriate highlighting effects guided by the accompanying video, ultimately creating a more harmonious audio-visual experience. We propose a flexible, transformer-based multimodal framework to solve this task. To train our model, we also introduce a new dataset -- the muddy mix dataset, leveraging the meticulous audio and video crafting found in movies, which provides a form of free supervision. We develop a pseudo-data generation process to simulate poorly mixed audio, mimicking real-world scenarios through a three-step process -- separation, adjustment, and remixing. Our approach consistently outperforms several baselines in both quantitative and subjective evaluation. We also systematically study the impact of different types of contextual guidance and difficulty levels of the dataset. Our project page is here: https://wikichao.github.io/VisAH/.