FoleyGen: Visuell gesteuerte Audiogenerierung
FoleyGen: Visually-Guided Audio Generation
September 19, 2023
Autoren: Xinhao Mei, Varun Nagaraja, Gael Le Lan, Zhaoheng Ni, Ernie Chang, Yangyang Shi, Vikas Chandra
cs.AI
Zusammenfassung
Jüngste Fortschritte in der Audioerzeugung wurden durch die Entwicklung von groß angelegten Deep-Learning-Modellen und umfangreichen Datensätzen vorangetrieben. Die Aufgabe der Video-zu-Audio (V2A)-Generierung bleibt jedoch eine Herausforderung, hauptsächlich aufgrund der komplexen Beziehung zwischen den hochdimensionalen visuellen und auditiven Daten sowie den Schwierigkeiten bei der zeitlichen Synchronisation. In dieser Studie stellen wir FoleyGen vor, ein Open-Domain-V2A-Generierungssystem, das auf einem Sprachmodellierungsparadigma basiert. FoleyGen nutzt einen vorgefertigten neuronalen Audiocodec für die bidirektionale Umwandlung zwischen Wellenformen und diskreten Tokens. Die Erzeugung von Audio-Tokens wird durch ein einzelnes Transformer-Modell ermöglicht, das auf visuelle Merkmale konditioniert ist, die von einem visuellen Encoder extrahiert werden. Ein weit verbreitetes Problem bei der V2A-Generierung ist die Fehlausrichtung des erzeugten Audios mit den sichtbaren Aktionen im Video. Um dies zu beheben, untersuchen wir drei neuartige visuelle Aufmerksamkeitsmechanismen. Darüber hinaus führen wir eine umfassende Bewertung mehrerer visueller Encoder durch, die jeweils auf einmodale oder multimodale Aufgaben vortrainiert wurden. Die experimentellen Ergebnisse auf dem VGGSound-Datensatz zeigen, dass unser vorgeschlagenes FoleyGen alle bisherigen Systeme in allen objektiven Metriken und menschlichen Bewertungen übertrifft.
English
Recent advancements in audio generation have been spurred by the evolution of
large-scale deep learning models and expansive datasets. However, the task of
video-to-audio (V2A) generation continues to be a challenge, principally
because of the intricate relationship between the high-dimensional visual and
auditory data, and the challenges associated with temporal synchronization. In
this study, we introduce FoleyGen, an open-domain V2A generation system built
on a language modeling paradigm. FoleyGen leverages an off-the-shelf neural
audio codec for bidirectional conversion between waveforms and discrete tokens.
The generation of audio tokens is facilitated by a single Transformer model,
which is conditioned on visual features extracted from a visual encoder. A
prevalent problem in V2A generation is the misalignment of generated audio with
the visible actions in the video. To address this, we explore three novel
visual attention mechanisms. We further undertake an exhaustive evaluation of
multiple visual encoders, each pretrained on either single-modal or multi-modal
tasks. The experimental results on VGGSound dataset show that our proposed
FoleyGen outperforms previous systems across all objective metrics and human
evaluations.