FoleyGen: Geração de Áudio Guiada Visualmente
FoleyGen: Visually-Guided Audio Generation
September 19, 2023
Autores: Xinhao Mei, Varun Nagaraja, Gael Le Lan, Zhaoheng Ni, Ernie Chang, Yangyang Shi, Vikas Chandra
cs.AI
Resumo
Os avanços recentes na geração de áudio têm sido impulsionados pela evolução de modelos de aprendizado profundo em grande escala e conjuntos de dados extensos. No entanto, a tarefa de geração de vídeo para áudio (V2A) continua a ser um desafio, principalmente devido à relação complexa entre os dados visuais e auditivos de alta dimensionalidade e às dificuldades associadas à sincronização temporal. Neste estudo, apresentamos o FoleyGen, um sistema de geração V2A de domínio aberto baseado em um paradigma de modelagem de linguagem. O FoleyGen utiliza um codec neural de áudio pronto para uso para conversão bidirecional entre formas de onda e tokens discretos. A geração de tokens de áudio é facilitada por um único modelo Transformer, que é condicionado por características visuais extraídas de um codificador visual. Um problema comum na geração V2A é o desalinhamento do áudio gerado com as ações visíveis no vídeo. Para resolver isso, exploramos três novos mecanismos de atenção visual. Além disso, realizamos uma avaliação exaustiva de vários codificadores visuais, cada um pré-treinado em tarefas unimodais ou multimodais. Os resultados experimentais no conjunto de dados VGGSound mostram que o nosso FoleyGen proposto supera os sistemas anteriores em todas as métricas objetivas e avaliações humanas.
English
Recent advancements in audio generation have been spurred by the evolution of
large-scale deep learning models and expansive datasets. However, the task of
video-to-audio (V2A) generation continues to be a challenge, principally
because of the intricate relationship between the high-dimensional visual and
auditory data, and the challenges associated with temporal synchronization. In
this study, we introduce FoleyGen, an open-domain V2A generation system built
on a language modeling paradigm. FoleyGen leverages an off-the-shelf neural
audio codec for bidirectional conversion between waveforms and discrete tokens.
The generation of audio tokens is facilitated by a single Transformer model,
which is conditioned on visual features extracted from a visual encoder. A
prevalent problem in V2A generation is the misalignment of generated audio with
the visible actions in the video. To address this, we explore three novel
visual attention mechanisms. We further undertake an exhaustive evaluation of
multiple visual encoders, each pretrained on either single-modal or multi-modal
tasks. The experimental results on VGGSound dataset show that our proposed
FoleyGen outperforms previous systems across all objective metrics and human
evaluations.