Génération audio à partir de vidéo avec alignement caché
Video-to-Audio Generation with Hidden Alignment
July 10, 2024
papers.authors: Manjie Xu, Chenxing Li, Yong Ren, Rilin Chen, Yu Gu, Wei Liang, Dong Yu
cs.AI
papers.abstract
La génération de contenu audio sémantiquement et temporellement aligné en fonction d'une entrée vidéo est devenue un point central pour les chercheurs, en particulier suite à la percée remarquable dans la génération de texte vers vidéo. Dans ce travail, nous visons à apporter des éclairages sur le paradigme de génération vidéo vers audio, en nous concentrant sur trois aspects cruciaux : les encodeurs visuels, les embeddings auxiliaires et les techniques d'augmentation de données. Partant d'un modèle de base VTA-LDM construit sur une intuition simple mais étonnamment efficace, nous explorons divers encodeurs visuels et embeddings auxiliaires à travers des études d'ablation. En utilisant un pipeline d'évaluation complet qui met l'accent sur la qualité de génération et l'alignement de la synchronisation vidéo-audio, nous démontrons que notre modèle présente des capacités de génération vidéo vers audio de pointe. De plus, nous fournissons des insights critiques sur l'impact des différentes méthodes d'augmentation de données pour améliorer la capacité globale du cadre de génération. Nous montrons des possibilités pour faire progresser le défi de générer de l'audio synchronisé d'un point de vue sémantique et temporel. Nous espérons que ces éclairages serviront de tremplin pour développer des modèles de génération audio-visuelle plus réalistes et précis.
English
Generating semantically and temporally aligned audio content in accordance
with video input has become a focal point for researchers, particularly
following the remarkable breakthrough in text-to-video generation. In this
work, we aim to offer insights into the video-to-audio generation paradigm,
focusing on three crucial aspects: vision encoders, auxiliary embeddings, and
data augmentation techniques. Beginning with a foundational model VTA-LDM built
on a simple yet surprisingly effective intuition, we explore various vision
encoders and auxiliary embeddings through ablation studies. Employing a
comprehensive evaluation pipeline that emphasizes generation quality and
video-audio synchronization alignment, we demonstrate that our model exhibits
state-of-the-art video-to-audio generation capabilities. Furthermore, we
provide critical insights into the impact of different data augmentation
methods on enhancing the generation framework's overall capacity. We showcase
possibilities to advance the challenge of generating synchronized audio from
semantic and temporal perspectives. We hope these insights will serve as a
stepping stone toward developing more realistic and accurate audio-visual
generation models.