FoleyGen: Визуально-управляемая генерация аудио
FoleyGen: Visually-Guided Audio Generation
September 19, 2023
Авторы: Xinhao Mei, Varun Nagaraja, Gael Le Lan, Zhaoheng Ni, Ernie Chang, Yangyang Shi, Vikas Chandra
cs.AI
Аннотация
Последние достижения в области генерации аудио были стимулированы развитием крупномасштабных моделей глубокого обучения и обширных наборов данных. Однако задача генерации аудио по видео (V2A) по-прежнему остается сложной, главным образом из-за сложной взаимосвязи между высокоразмерными визуальными и аудиоданными, а также проблем, связанных с временной синхронизацией. В данном исследовании мы представляем FoleyGen — систему генерации аудио по видео в открытой области, основанную на парадигме языкового моделирования. FoleyGen использует готовый нейронный аудиокодек для двунаправленного преобразования между звуковыми волнами и дискретными токенами. Генерация аудиотокенов осуществляется с помощью одной модели Transformer, которая учитывает визуальные признаки, извлеченные визуальным кодировщиком. Распространенной проблемой в генерации V2A является несоответствие сгенерированного аудио видимым действиям в видео. Для решения этой проблемы мы исследуем три новых механизма визуального внимания. Кроме того, мы проводим всестороннюю оценку нескольких визуальных кодировщиков, каждый из которых предварительно обучался на задачах с одним или несколькими модальностями. Экспериментальные результаты на наборе данных VGGSound показывают, что предложенная система FoleyGen превосходит предыдущие системы по всем объективным метрикам и оценкам пользователей.
English
Recent advancements in audio generation have been spurred by the evolution of
large-scale deep learning models and expansive datasets. However, the task of
video-to-audio (V2A) generation continues to be a challenge, principally
because of the intricate relationship between the high-dimensional visual and
auditory data, and the challenges associated with temporal synchronization. In
this study, we introduce FoleyGen, an open-domain V2A generation system built
on a language modeling paradigm. FoleyGen leverages an off-the-shelf neural
audio codec for bidirectional conversion between waveforms and discrete tokens.
The generation of audio tokens is facilitated by a single Transformer model,
which is conditioned on visual features extracted from a visual encoder. A
prevalent problem in V2A generation is the misalignment of generated audio with
the visible actions in the video. To address this, we explore three novel
visual attention mechanisms. We further undertake an exhaustive evaluation of
multiple visual encoders, each pretrained on either single-modal or multi-modal
tasks. The experimental results on VGGSound dataset show that our proposed
FoleyGen outperforms previous systems across all objective metrics and human
evaluations.