FoleyGen : Génération audio guidée visuellement
FoleyGen: Visually-Guided Audio Generation
September 19, 2023
Auteurs: Xinhao Mei, Varun Nagaraja, Gael Le Lan, Zhaoheng Ni, Ernie Chang, Yangyang Shi, Vikas Chandra
cs.AI
Résumé
Les récents progrès dans la génération audio ont été stimulés par l'évolution des modèles d'apprentissage profond à grande échelle et des ensembles de données étendus. Cependant, la tâche de génération vidéo-vers-audio (V2A) reste un défi, principalement en raison de la relation complexe entre les données visuelles et auditives de haute dimension, ainsi que des difficultés liées à la synchronisation temporelle. Dans cette étude, nous présentons FoleyGen, un système de génération V2A à domaine ouvert basé sur un paradigme de modélisation du langage. FoleyGen utilise un codec audio neuronal prêt à l'emploi pour la conversion bidirectionnelle entre les formes d'onde et les tokens discrets. La génération des tokens audio est facilitée par un modèle Transformer unique, conditionné sur des caractéristiques visuelles extraites par un encodeur visuel. Un problème courant dans la génération V2A est le désalignement entre l'audio généré et les actions visibles dans la vidéo. Pour y remédier, nous explorons trois nouveaux mécanismes d'attention visuelle. Nous entreprenons également une évaluation exhaustive de plusieurs encodeurs visuels, chacun pré-entraîné sur des tâches unimodales ou multimodales. Les résultats expérimentaux sur le jeu de données VGGSound montrent que notre système FoleyGen surpasse les systèmes précédents sur tous les critères objectifs et dans les évaluations humaines.
English
Recent advancements in audio generation have been spurred by the evolution of
large-scale deep learning models and expansive datasets. However, the task of
video-to-audio (V2A) generation continues to be a challenge, principally
because of the intricate relationship between the high-dimensional visual and
auditory data, and the challenges associated with temporal synchronization. In
this study, we introduce FoleyGen, an open-domain V2A generation system built
on a language modeling paradigm. FoleyGen leverages an off-the-shelf neural
audio codec for bidirectional conversion between waveforms and discrete tokens.
The generation of audio tokens is facilitated by a single Transformer model,
which is conditioned on visual features extracted from a visual encoder. A
prevalent problem in V2A generation is the misalignment of generated audio with
the visible actions in the video. To address this, we explore three novel
visual attention mechanisms. We further undertake an exhaustive evaluation of
multiple visual encoders, each pretrained on either single-modal or multi-modal
tasks. The experimental results on VGGSound dataset show that our proposed
FoleyGen outperforms previous systems across all objective metrics and human
evaluations.