Apprendre à mettre en valeur l'audio en regardant des films

Learning to Highlight Audio by Watching Movies

May 17, 2025

Auteurs: Chao Huang, Ruohan Gao, J. M. F. Tsang, Jan Kurcius, Cagdas Bilen, Chenliang Xu, Anurag Kumar, Sanjeel Parekh

cs.AI

Résumé

Ces dernières années ont vu une augmentation significative de la création et de la consommation de contenus vidéo. La conception de contenus captivants nécessite une curation minutieuse des éléments visuels et audio. Alors que la curation des indices visuels, à travers des techniques comme la sélection du point de vue optimal ou le post-édition, a été centrale dans la production médiatique, son équivalent naturel, l'audio, n'a pas connu d'avancées équivalentes. Cela entraîne souvent une discordance entre la saillance visuelle et acoustique. Pour combler cette lacune, nous introduisons une nouvelle tâche : la mise en valeur acoustique guidée par le visuel, qui vise à transformer l'audio pour délivrer des effets de mise en valeur appropriés guidés par la vidéo accompagnante, créant ainsi une expérience audio-visuelle plus harmonieuse. Nous proposons un cadre multimodal flexible basé sur les transformers pour résoudre cette tâche. Pour entraîner notre modèle, nous introduisons également un nouveau jeu de données -- le jeu de données "muddy mix", en tirant parti de la conception méticuleuse de l'audio et de la vidéo trouvée dans les films, qui fournit une forme de supervision gratuite. Nous développons un processus de génération de pseudo-données pour simuler un audio mal mixé, imitant des scénarios réels à travers un processus en trois étapes -- séparation, ajustement et remixage. Notre approche surpasse systématiquement plusieurs modèles de référence dans les évaluations quantitatives et subjectives. Nous étudions également systématiquement l'impact de différents types de guidage contextuel et des niveaux de difficulté du jeu de données. Notre page de projet est disponible ici : https://wikichao.github.io/VisAH/.

English

Recent years have seen a significant increase in video content creation and consumption. Crafting engaging content requires the careful curation of both visual and audio elements. While visual cue curation, through techniques like optimal viewpoint selection or post-editing, has been central to media production, its natural counterpart, audio, has not undergone equivalent advancements. This often results in a disconnect between visual and acoustic saliency. To bridge this gap, we introduce a novel task: visually-guided acoustic highlighting, which aims to transform audio to deliver appropriate highlighting effects guided by the accompanying video, ultimately creating a more harmonious audio-visual experience. We propose a flexible, transformer-based multimodal framework to solve this task. To train our model, we also introduce a new dataset -- the muddy mix dataset, leveraging the meticulous audio and video crafting found in movies, which provides a form of free supervision. We develop a pseudo-data generation process to simulate poorly mixed audio, mimicking real-world scenarios through a three-step process -- separation, adjustment, and remixing. Our approach consistently outperforms several baselines in both quantitative and subjective evaluation. We also systematically study the impact of different types of contextual guidance and difficulty levels of the dataset. Our project page is here: https://wikichao.github.io/VisAH/.