Генерация аудио из видео с использованием скрытого выравнивания

Video-to-Audio Generation with Hidden Alignment

July 10, 2024

Авторы: Manjie Xu, Chenxing Li, Yong Ren, Rilin Chen, Yu Gu, Wei Liang, Dong Yu

cs.AI

Аннотация

Генерация аудиоконтента, семантически и временно согласованного с видеовходом, стала центральной темой для исследователей, особенно после выдающегося прорыва в генерации текста в видеоформате. В данной работе мы стремимся предложить исследования по парадигме генерации аудио из видео, сосредотачиваясь на трех ключевых аспектах: визионные кодировщики, вспомогательные вложения и техники аугментации данных. Начиная с фундаментальной модели VTA-LDM, построенной на простой, но удивительно эффективной интуиции, мы исследуем различные визионные кодировщики и вспомогательные вложения через исследования по абляции. Используя комплексный пайплайн оценки, который акцентирует качество генерации и синхронизацию видео и аудио, мы демонстрируем, что наша модель обладает передовыми возможностями генерации аудио из видео. Кроме того, мы предоставляем критические исследования влияния различных методов аугментации данных на улучшение общей способности фреймворка генерации. Мы показываем возможности продвижения в решении задачи генерации синхронизированного аудио с семантической и временной точек зрения. Мы надеемся, что эти исследования послужат отправной точкой к разработке более реалистичных и точных моделей генерации аудио-видео.

English

Generating semantically and temporally aligned audio content in accordance with video input has become a focal point for researchers, particularly following the remarkable breakthrough in text-to-video generation. In this work, we aim to offer insights into the video-to-audio generation paradigm, focusing on three crucial aspects: vision encoders, auxiliary embeddings, and data augmentation techniques. Beginning with a foundational model VTA-LDM built on a simple yet surprisingly effective intuition, we explore various vision encoders and auxiliary embeddings through ablation studies. Employing a comprehensive evaluation pipeline that emphasizes generation quality and video-audio synchronization alignment, we demonstrate that our model exhibits state-of-the-art video-to-audio generation capabilities. Furthermore, we provide critical insights into the impact of different data augmentation methods on enhancing the generation framework's overall capacity. We showcase possibilities to advance the challenge of generating synchronized audio from semantic and temporal perspectives. We hope these insights will serve as a stepping stone toward developing more realistic and accurate audio-visual generation models.