숨겨진 정렬을 활용한 비디오-오디오 생성

Video-to-Audio Generation with Hidden Alignment

July 10, 2024

저자: Manjie Xu, Chenxing Li, Yong Ren, Rilin Chen, Yu Gu, Wei Liang, Dong Yu

cs.AI

초록

비디오 입력에 따라 의미론적 및 시간적으로 정렬된 오디오 콘텐츠를 생성하는 것은 텍스트-비디오 생성 분야에서의 놀라운 돌파구 이후 연구자들의 주요 관심사로 부상했습니다. 본 연구에서는 비디오-오디오 생성 패러다임에 대한 통찰을 제공하고자 하며, 특히 비전 인코더, 보조 임베딩, 데이터 증강 기술이라는 세 가지 중요한 측면에 초점을 맞춥니다. 간단하지만 놀라울 정도로 효과적인 직관에 기반한 기본 모델 VTA-LDM을 시작으로, 다양한 비전 인코더와 보조 임베딩을 ablation 연구를 통해 탐구합니다. 생성 품질과 비디오-오디오 동기화 정렬을 강조하는 포괄적인 평가 파이프라인을 통해, 우리의 모델이 최첨단 비디오-오디오 생성 능력을 보여준다는 것을 입증합니다. 또한, 다양한 데이터 증강 방법이 생성 프레임워크의 전반적인 역량을 향상시키는 데 미치는 영향에 대한 중요한 통찰을 제공합니다. 우리는 의미론적 및 시간적 관점에서 동기화된 오디오를 생성하는 과제를 발전시킬 가능성을 보여줍니다. 이러한 통찰이 보다 현실적이고 정확한 오디오-비주얼 생성 모델 개발을 위한 발판이 되기를 바랍니다.

English

Generating semantically and temporally aligned audio content in accordance with video input has become a focal point for researchers, particularly following the remarkable breakthrough in text-to-video generation. In this work, we aim to offer insights into the video-to-audio generation paradigm, focusing on three crucial aspects: vision encoders, auxiliary embeddings, and data augmentation techniques. Beginning with a foundational model VTA-LDM built on a simple yet surprisingly effective intuition, we explore various vision encoders and auxiliary embeddings through ablation studies. Employing a comprehensive evaluation pipeline that emphasizes generation quality and video-audio synchronization alignment, we demonstrate that our model exhibits state-of-the-art video-to-audio generation capabilities. Furthermore, we provide critical insights into the impact of different data augmentation methods on enhancing the generation framework's overall capacity. We showcase possibilities to advance the challenge of generating synchronized audio from semantic and temporal perspectives. We hope these insights will serve as a stepping stone toward developing more realistic and accurate audio-visual generation models.