隠れアライメントを用いたビデオからオーディオへの生成

Video-to-Audio Generation with Hidden Alignment

July 10, 2024

著者: Manjie Xu, Chenxing Li, Yong Ren, Rilin Chen, Yu Gu, Wei Liang, Dong Yu

cs.AI

要旨

ビデオ入力に従って意味的かつ時間的に整合したオーディオコンテンツを生成することは、特にテキストからビデオ生成における画期的な進歩を受けて、研究者の注目の的となっています。本研究では、ビデオからオーディオを生成するパラダイムについて洞察を提供することを目指し、視覚エンコーダ、補助的埋め込み、およびデータ拡張技術という3つの重要な側面に焦点を当てます。シンプルでありながら驚くほど効果的な直感に基づいて構築された基本モデルVTA-LDMを出発点として、アブレーションスタディを通じて様々な視覚エンコーダと補助的埋め込みを探求します。生成品質とビデオ-オーディオ同期整合性を重視した包括的な評価パイプラインを用いて、我々のモデルが最先端のビデオからオーディオ生成能力を発揮することを実証します。さらに、異なるデータ拡張手法が生成フレームワークの全体的な能力を向上させる上での影響について重要な洞察を提供します。意味的および時間的観点から同期したオーディオを生成するという課題を進展させる可能性を示します。これらの洞察が、より現実的で正確なオーディオビジュアル生成モデルの開発に向けた足がかりとなることを期待しています。

English

Generating semantically and temporally aligned audio content in accordance with video input has become a focal point for researchers, particularly following the remarkable breakthrough in text-to-video generation. In this work, we aim to offer insights into the video-to-audio generation paradigm, focusing on three crucial aspects: vision encoders, auxiliary embeddings, and data augmentation techniques. Beginning with a foundational model VTA-LDM built on a simple yet surprisingly effective intuition, we explore various vision encoders and auxiliary embeddings through ablation studies. Employing a comprehensive evaluation pipeline that emphasizes generation quality and video-audio synchronization alignment, we demonstrate that our model exhibits state-of-the-art video-to-audio generation capabilities. Furthermore, we provide critical insights into the impact of different data augmentation methods on enhancing the generation framework's overall capacity. We showcase possibilities to advance the challenge of generating synchronized audio from semantic and temporal perspectives. We hope these insights will serve as a stepping stone toward developing more realistic and accurate audio-visual generation models.