自己回帰を用いたビデオ用の時間的に整列したオーディオ

Temporally Aligned Audio for Video with Autoregression

September 20, 2024

著者: Ilpo Viertola, Vladimir Iashin, Esa Rahtu

cs.AI

要旨

V-AURAは、高い時間的整合性と関連性を実現する最初の自己回帰モデルであり、ビデオからオーディオを生成する際に利用されます。V-AURAは、高フレームレートのビジュアル特徴抽出器とクロスモーダルオーディオビジュアル特徴融合戦略を使用して、細かいビジュアルモーションイベントを捉え、正確な時間的整合性を確保します。さらに、高いオーディオビジュアル関連性を持つベンチマークデータセットであるVisualSoundを提案しています。VisualSoundは、YouTubeから抽出された野外サンプルで構成されるビデオデータセットであるVGGSoundに基づいています。キュレーション中には、聴覚イベントがビジュアルイベントと整合していないサンプルは削除されます。V-AURAは、現在の最先端モデルを上回り、時間的整合性と意味的関連性で優れた性能を発揮しつつ、同等のオーディオ品質を維持しています。コード、サンプル、VisualSound、およびモデルは、以下のリンクから入手可能です：https://v-aura.notion.site

English

We introduce V-AURA, the first autoregressive model to achieve high temporal alignment and relevance in video-to-audio generation. V-AURA uses a high-framerate visual feature extractor and a cross-modal audio-visual feature fusion strategy to capture fine-grained visual motion events and ensure precise temporal alignment. Additionally, we propose VisualSound, a benchmark dataset with high audio-visual relevance. VisualSound is based on VGGSound, a video dataset consisting of in-the-wild samples extracted from YouTube. During the curation, we remove samples where auditory events are not aligned with the visual ones. V-AURA outperforms current state-of-the-art models in temporal alignment and semantic relevance while maintaining comparable audio quality. Code, samples, VisualSound and models are available at https://v-aura.notion.site