映画鑑賞を通じて音声のハイライトを学習する

Learning to Highlight Audio by Watching Movies

May 17, 2025

著者: Chao Huang, Ruohan Gao, J. M. F. Tsang, Jan Kurcius, Cagdas Bilen, Chenliang Xu, Anurag Kumar, Sanjeel Parekh

cs.AI

要旨

近年、動画コンテンツの制作と消費が大幅に増加しています。魅力的なコンテンツを作成するには、視覚要素と音声要素の慎重なキュレーションが必要です。最適な視点選択やポストエディティングなどの技術を通じた視覚的キューのキュレーションは、メディア制作の中心となってきましたが、その自然な対となる音声は同等の進化を遂げていません。これにより、視覚的顕著性と音響的顕著性の間に乖離が生じることがしばしばあります。このギャップを埋めるため、私たちは新しいタスクを導入します：視覚誘導型音響ハイライトです。このタスクは、付随する動画に導かれて音声を変換し、適切なハイライト効果を提供し、最終的により調和のとれた視聴覚体験を創出することを目指します。このタスクを解決するために、柔軟なトランスフォーマーベースのマルチモーダルフレームワークを提案します。モデルを訓練するために、映画に見られる入念な音声と映像の制作を活用した新しいデータセット、muddy mixデータセットも導入します。これにより、一種の無料の教師信号が提供されます。私たちは、現実世界のシナリオを模倣するために、分離、調整、リミックスの3段階のプロセスを通じて、不十分にミックスされた音声をシミュレートする疑似データ生成プロセスを開発します。私たちのアプローチは、定量的評価と主観的評価の両方で、いくつかのベースラインを一貫して上回ります。また、異なるタイプの文脈的ガイダンスとデータセットの難易度レベルが与える影響を体系的に研究します。プロジェクトページはこちらです：https://wikichao.github.io/VisAH/。

English

Recent years have seen a significant increase in video content creation and consumption. Crafting engaging content requires the careful curation of both visual and audio elements. While visual cue curation, through techniques like optimal viewpoint selection or post-editing, has been central to media production, its natural counterpart, audio, has not undergone equivalent advancements. This often results in a disconnect between visual and acoustic saliency. To bridge this gap, we introduce a novel task: visually-guided acoustic highlighting, which aims to transform audio to deliver appropriate highlighting effects guided by the accompanying video, ultimately creating a more harmonious audio-visual experience. We propose a flexible, transformer-based multimodal framework to solve this task. To train our model, we also introduce a new dataset -- the muddy mix dataset, leveraging the meticulous audio and video crafting found in movies, which provides a form of free supervision. We develop a pseudo-data generation process to simulate poorly mixed audio, mimicking real-world scenarios through a three-step process -- separation, adjustment, and remixing. Our approach consistently outperforms several baselines in both quantitative and subjective evaluation. We also systematically study the impact of different types of contextual guidance and difficulty levels of the dataset. Our project page is here: https://wikichao.github.io/VisAH/.