Lernen, Audio hervorzuheben durch das Anschauen von Filmen

Learning to Highlight Audio by Watching Movies

May 17, 2025

Autoren: Chao Huang, Ruohan Gao, J. M. F. Tsang, Jan Kurcius, Cagdas Bilen, Chenliang Xu, Anurag Kumar, Sanjeel Parekh

cs.AI

Zusammenfassung

In den letzten Jahren ist die Erstellung und der Konsum von Videoinhalten deutlich gestiegen. Die Gestaltung ansprechender Inhalte erfordert die sorgfältige Auswahl sowohl visueller als auch auditiver Elemente. Während die Kuratierung visueller Hinweise durch Techniken wie die Auswahl optimaler Blickwinkel oder Nachbearbeitung im Mittelpunkt der Medienproduktion stand, hat ihr natürliches Pendant, der Ton, keine vergleichbaren Fortschritte durchlaufen. Dies führt oft zu einer Diskrepanz zwischen visueller und akustischer Salienz. Um diese Lücke zu schließen, führen wir eine neuartige Aufgabe ein: die visuell gesteuerte akustische Hervorhebung, die darauf abzielt, den Ton so zu transformieren, dass er passende Hervorhebungseffekte liefert, die durch das begleitende Video gesteuert werden, und letztendlich ein harmonischeres audiovisuelles Erlebnis schafft. Wir schlagen ein flexibles, transformer-basiertes multimodales Framework vor, um diese Aufgabe zu lösen. Um unser Modell zu trainieren, führen wir auch einen neuen Datensatz ein – den „muddy mix“-Datensatz, der die akribische Gestaltung von Ton und Video in Filmen nutzt und eine Form der kostenlosen Überwachung bietet. Wir entwickeln einen Prozess zur Erzeugung von Pseudo-Daten, um schlecht gemischten Ton zu simulieren, der reale Szenarien durch einen dreistufigen Prozess – Trennung, Anpassung und Neumischung – nachahmt. Unser Ansatz übertrifft durchweg mehrere Baselines sowohl in der quantitativen als auch in der subjektiven Bewertung. Wir untersuchen auch systematisch die Auswirkungen verschiedener Arten von kontextueller Führung und Schwierigkeitsgrade des Datensatzes. Unsere Projektseite finden Sie hier: https://wikichao.github.io/VisAH/.

English

Recent years have seen a significant increase in video content creation and consumption. Crafting engaging content requires the careful curation of both visual and audio elements. While visual cue curation, through techniques like optimal viewpoint selection or post-editing, has been central to media production, its natural counterpart, audio, has not undergone equivalent advancements. This often results in a disconnect between visual and acoustic saliency. To bridge this gap, we introduce a novel task: visually-guided acoustic highlighting, which aims to transform audio to deliver appropriate highlighting effects guided by the accompanying video, ultimately creating a more harmonious audio-visual experience. We propose a flexible, transformer-based multimodal framework to solve this task. To train our model, we also introduce a new dataset -- the muddy mix dataset, leveraging the meticulous audio and video crafting found in movies, which provides a form of free supervision. We develop a pseudo-data generation process to simulate poorly mixed audio, mimicking real-world scenarios through a three-step process -- separation, adjustment, and remixing. Our approach consistently outperforms several baselines in both quantitative and subjective evaluation. We also systematically study the impact of different types of contextual guidance and difficulty levels of the dataset. Our project page is here: https://wikichao.github.io/VisAH/.