Imparare a Evidenziare l'Audio Guardando Film

Learning to Highlight Audio by Watching Movies

May 17, 2025

Autori: Chao Huang, Ruohan Gao, J. M. F. Tsang, Jan Kurcius, Cagdas Bilen, Chenliang Xu, Anurag Kumar, Sanjeel Parekh

cs.AI

Abstract

Negli ultimi anni si è registrato un significativo aumento nella creazione e nel consumo di contenuti video. Realizzare contenuti coinvolgenti richiede una curata selezione sia degli elementi visivi che di quelli audio. Mentre la cura dei segnali visivi, attraverso tecniche come la selezione del punto di vista ottimale o il post-editing, è stata centrale nella produzione mediatica, la sua controparte naturale, l'audio, non ha subito avanzamenti equivalenti. Ciò spesso si traduce in una disconnessione tra la salienza visiva e quella acustica. Per colmare questa lacuna, introduciamo un nuovo compito: l'evidenziazione acustica guidata visivamente, che mira a trasformare l'audio per fornire effetti di evidenziazione appropriati guidati dal video associato, creando infine un'esperienza audio-visiva più armoniosa. Proponiamo un framework multimodale flessibile basato su transformer per risolvere questo compito. Per addestrare il nostro modello, introduciamo anche un nuovo dataset -- il muddy mix dataset, sfruttando la meticolosa cura audio e video presente nei film, che fornisce una forma di supervisione gratuita. Sviluppiamo un processo di generazione di pseudo-dati per simulare audio mal miscelato, imitando scenari reali attraverso un processo in tre fasi -- separazione, regolazione e rimiscelazione. Il nostro approccio supera costantemente diverse baseline sia nella valutazione quantitativa che in quella soggettiva. Studiamo inoltre sistematicamente l'impatto di diversi tipi di guida contestuale e dei livelli di difficoltà del dataset. La nostra pagina del progetto è disponibile qui: https://wikichao.github.io/VisAH/.

English

Recent years have seen a significant increase in video content creation and consumption. Crafting engaging content requires the careful curation of both visual and audio elements. While visual cue curation, through techniques like optimal viewpoint selection or post-editing, has been central to media production, its natural counterpart, audio, has not undergone equivalent advancements. This often results in a disconnect between visual and acoustic saliency. To bridge this gap, we introduce a novel task: visually-guided acoustic highlighting, which aims to transform audio to deliver appropriate highlighting effects guided by the accompanying video, ultimately creating a more harmonious audio-visual experience. We propose a flexible, transformer-based multimodal framework to solve this task. To train our model, we also introduce a new dataset -- the muddy mix dataset, leveraging the meticulous audio and video crafting found in movies, which provides a form of free supervision. We develop a pseudo-data generation process to simulate poorly mixed audio, mimicking real-world scenarios through a three-step process -- separation, adjustment, and remixing. Our approach consistently outperforms several baselines in both quantitative and subjective evaluation. We also systematically study the impact of different types of contextual guidance and difficulty levels of the dataset. Our project page is here: https://wikichao.github.io/VisAH/.