Aprendiendo a resaltar audio mediante la observación de películas

Learning to Highlight Audio by Watching Movies

May 17, 2025

Autores: Chao Huang, Ruohan Gao, J. M. F. Tsang, Jan Kurcius, Cagdas Bilen, Chenliang Xu, Anurag Kumar, Sanjeel Parekh

cs.AI

Resumen

En los últimos años, se ha observado un aumento significativo en la creación y consumo de contenido en video. Elaborar contenido atractivo requiere una cuidadosa selección tanto de elementos visuales como auditivos. Mientras que la selección de señales visuales, a través de técnicas como la elección del punto de vista óptimo o la edición posterior, ha sido fundamental en la producción de medios, su contraparte natural, el audio, no ha experimentado avances equivalentes. Esto a menudo resulta en una desconexión entre la prominencia visual y la acústica. Para cerrar esta brecha, introducimos una nueva tarea: el resaltado acústico guiado visualmente, que busca transformar el audio para ofrecer efectos de resaltado apropiados guiados por el video acompañante, creando finalmente una experiencia audiovisual más armoniosa. Proponemos un marco multimodal flexible basado en transformadores para resolver esta tarea. Para entrenar nuestro modelo, también presentamos un nuevo conjunto de datos: el conjunto de datos de mezcla confusa, aprovechando la meticulosa elaboración de audio y video encontrada en películas, lo que proporciona una forma de supervisión gratuita. Desarrollamos un proceso de generación de datos pseudoaleatorios para simular audio mal mezclado, imitando escenarios del mundo real a través de un proceso de tres pasos: separación, ajuste y remezcla. Nuestro enfoque supera consistentemente varias líneas base tanto en evaluación cuantitativa como subjetiva. También estudiamos sistemáticamente el impacto de diferentes tipos de guía contextual y niveles de dificultad del conjunto de datos. Nuestra página del proyecto está aquí: https://wikichao.github.io/VisAH/.

English

Recent years have seen a significant increase in video content creation and consumption. Crafting engaging content requires the careful curation of both visual and audio elements. While visual cue curation, through techniques like optimal viewpoint selection or post-editing, has been central to media production, its natural counterpart, audio, has not undergone equivalent advancements. This often results in a disconnect between visual and acoustic saliency. To bridge this gap, we introduce a novel task: visually-guided acoustic highlighting, which aims to transform audio to deliver appropriate highlighting effects guided by the accompanying video, ultimately creating a more harmonious audio-visual experience. We propose a flexible, transformer-based multimodal framework to solve this task. To train our model, we also introduce a new dataset -- the muddy mix dataset, leveraging the meticulous audio and video crafting found in movies, which provides a form of free supervision. We develop a pseudo-data generation process to simulate poorly mixed audio, mimicking real-world scenarios through a three-step process -- separation, adjustment, and remixing. Our approach consistently outperforms several baselines in both quantitative and subjective evaluation. We also systematically study the impact of different types of contextual guidance and difficulty levels of the dataset. Our project page is here: https://wikichao.github.io/VisAH/.