Aprendendo a destacar áudio assistindo a filmes

Learning to Highlight Audio by Watching Movies

May 17, 2025

Autores: Chao Huang, Ruohan Gao, J. M. F. Tsang, Jan Kurcius, Cagdas Bilen, Chenliang Xu, Anurag Kumar, Sanjeel Parekh

cs.AI

Resumo

Nos últimos anos, houve um aumento significativo na criação e consumo de conteúdo em vídeo. A elaboração de conteúdo envolvente requer a curadoria cuidadosa de elementos visuais e auditivos. Enquanto a curadoria de pistas visuais, por meio de técnicas como seleção de ponto de vista ideal ou pós-edição, tem sido central na produção de mídia, sua contraparte natural, o áudio, não passou por avanços equivalentes. Isso frequentemente resulta em uma desconexão entre a saliência visual e acústica. Para preencher essa lacuna, introduzimos uma nova tarefa: o destaque acústico guiado visualmente, que visa transformar o áudio para fornecer efeitos de destaque apropriados orientados pelo vídeo acompanhante, criando, em última análise, uma experiência audiovisual mais harmoniosa. Propomos uma estrutura multimodal flexível baseada em transformadores para resolver essa tarefa. Para treinar nosso modelo, também introduzimos um novo conjunto de dados — o conjunto de dados "muddy mix", aproveitando a elaboração meticulosa de áudio e vídeo encontrada em filmes, que fornece uma forma de supervisão gratuita. Desenvolvemos um processo de geração de pseudo-dados para simular áudio mal mixado, imitando cenários do mundo real por meio de um processo de três etapas — separação, ajuste e remixagem. Nossa abordagem supera consistentemente várias linhas de base tanto na avaliação quantitativa quanto na subjetiva. Também estudamos sistematicamente o impacto de diferentes tipos de orientação contextual e níveis de dificuldade do conjunto de dados. Nossa página do projeto está aqui: https://wikichao.github.io/VisAH/.

English

Recent years have seen a significant increase in video content creation and consumption. Crafting engaging content requires the careful curation of both visual and audio elements. While visual cue curation, through techniques like optimal viewpoint selection or post-editing, has been central to media production, its natural counterpart, audio, has not undergone equivalent advancements. This often results in a disconnect between visual and acoustic saliency. To bridge this gap, we introduce a novel task: visually-guided acoustic highlighting, which aims to transform audio to deliver appropriate highlighting effects guided by the accompanying video, ultimately creating a more harmonious audio-visual experience. We propose a flexible, transformer-based multimodal framework to solve this task. To train our model, we also introduce a new dataset -- the muddy mix dataset, leveraging the meticulous audio and video crafting found in movies, which provides a form of free supervision. We develop a pseudo-data generation process to simulate poorly mixed audio, mimicking real-world scenarios through a three-step process -- separation, adjustment, and remixing. Our approach consistently outperforms several baselines in both quantitative and subjective evaluation. We also systematically study the impact of different types of contextual guidance and difficulty levels of the dataset. Our project page is here: https://wikichao.github.io/VisAH/.