FoleyGen: Visueel-Gestuurde Audiogeneratie
FoleyGen: Visually-Guided Audio Generation
September 19, 2023
Auteurs: Xinhao Mei, Varun Nagaraja, Gael Le Lan, Zhaoheng Ni, Ernie Chang, Yangyang Shi, Vikas Chandra
cs.AI
Samenvatting
Recente vooruitgang in audiogeneratie is gestimuleerd door de evolutie van grootschalige deep learning-modellen en uitgebreide datasets. De taak van video-naar-audio (V2A) generatie blijft echter een uitdaging, voornamelijk vanwege de complexe relatie tussen de hoogdimensionale visuele en auditieve gegevens, en de uitdagingen die gepaard gaan met temporele synchronisatie. In deze studie introduceren we FoleyGen, een open-domein V2A-generatiesysteem gebaseerd op een taalmodelleringsparadigma. FoleyGen maakt gebruik van een kant-en-klare neurale audiocodec voor bidirectionele conversie tussen golfvormen en discrete tokens. De generatie van audiotokens wordt gefaciliteerd door een enkel Transformer-model, dat wordt geconditioneerd op visuele kenmerken die zijn geëxtraheerd uit een visuele encoder. Een veelvoorkomend probleem bij V2A-generatie is de verkeerde uitlijning van gegenereerde audio met de zichtbare acties in de video. Om dit aan te pakken, onderzoeken we drie nieuwe visuele aandachtmechanismen. We voeren verder een uitgebreide evaluatie uit van meerdere visuele encoders, die elk zijn voorgetraind op enkelvoudige of multimodale taken. De experimentele resultaten op de VGGSound-dataset laten zien dat ons voorgestelde FoleyGen eerdere systemen overtreft op alle objectieve metrieken en menselijke evaluaties.
English
Recent advancements in audio generation have been spurred by the evolution of
large-scale deep learning models and expansive datasets. However, the task of
video-to-audio (V2A) generation continues to be a challenge, principally
because of the intricate relationship between the high-dimensional visual and
auditory data, and the challenges associated with temporal synchronization. In
this study, we introduce FoleyGen, an open-domain V2A generation system built
on a language modeling paradigm. FoleyGen leverages an off-the-shelf neural
audio codec for bidirectional conversion between waveforms and discrete tokens.
The generation of audio tokens is facilitated by a single Transformer model,
which is conditioned on visual features extracted from a visual encoder. A
prevalent problem in V2A generation is the misalignment of generated audio with
the visible actions in the video. To address this, we explore three novel
visual attention mechanisms. We further undertake an exhaustive evaluation of
multiple visual encoders, each pretrained on either single-modal or multi-modal
tasks. The experimental results on VGGSound dataset show that our proposed
FoleyGen outperforms previous systems across all objective metrics and human
evaluations.