FoleyGen: Generazione Audio Guidata Visivamente
FoleyGen: Visually-Guided Audio Generation
September 19, 2023
Autori: Xinhao Mei, Varun Nagaraja, Gael Le Lan, Zhaoheng Ni, Ernie Chang, Yangyang Shi, Vikas Chandra
cs.AI
Abstract
I recenti progressi nella generazione audio sono stati stimolati dall'evoluzione di modelli di deep learning su larga scala e da dataset estesi. Tuttavia, il compito della generazione video-to-audio (V2A) continua a rappresentare una sfida, principalmente a causa della complessa relazione tra i dati visivi e uditivi ad alta dimensionalità e delle difficoltà legate alla sincronizzazione temporale. In questo studio, presentiamo FoleyGen, un sistema V2A open-domain basato su un paradigma di modellazione del linguaggio. FoleyGen sfrutta un codec neurale audio preesistente per la conversione bidirezionale tra forme d'onda e token discreti. La generazione dei token audio è facilitata da un singolo modello Transformer, condizionato da caratteristiche visive estratte da un encoder visivo. Un problema comune nella generazione V2A è il disallineamento tra l'audio generato e le azioni visibili nel video. Per affrontare questo problema, esploriamo tre nuovi meccanismi di attenzione visiva. Inoltre, conduciamo una valutazione approfondita di molteplici encoder visivi, ciascuno preaddestrato su task unimodali o multimodali. I risultati sperimentali sul dataset VGGSound dimostrano che il nostro sistema FoleyGen supera i precedenti sistemi in tutte le metriche oggettive e nelle valutazioni umane.
English
Recent advancements in audio generation have been spurred by the evolution of
large-scale deep learning models and expansive datasets. However, the task of
video-to-audio (V2A) generation continues to be a challenge, principally
because of the intricate relationship between the high-dimensional visual and
auditory data, and the challenges associated with temporal synchronization. In
this study, we introduce FoleyGen, an open-domain V2A generation system built
on a language modeling paradigm. FoleyGen leverages an off-the-shelf neural
audio codec for bidirectional conversion between waveforms and discrete tokens.
The generation of audio tokens is facilitated by a single Transformer model,
which is conditioned on visual features extracted from a visual encoder. A
prevalent problem in V2A generation is the misalignment of generated audio with
the visible actions in the video. To address this, we explore three novel
visual attention mechanisms. We further undertake an exhaustive evaluation of
multiple visual encoders, each pretrained on either single-modal or multi-modal
tasks. The experimental results on VGGSound dataset show that our proposed
FoleyGen outperforms previous systems across all objective metrics and human
evaluations.