Маскированные генеративные трансформеры видео в аудио с улучшенной синхронизацией

Masked Generative Video-to-Audio Transformers with Enhanced Synchronicity

July 15, 2024

Авторы: Santiago Pascual, Chunghsin Yeh, Ioannis Tsiamas, Joan Serrà

cs.AI

Аннотация

Генерация аудио из видео (V2A) использует только визуальные признаки видео для создания правдоподобных звуков, соответствующих сцене. Важно, чтобы созданные звуковые начала соответствовали визуальным действиям, с которыми они согласованы, в противном случае возникают неестественные артефакты синхронизации. Недавние работы исследовали прогрессирование генераторов звука на основе статических изображений, а затем видеопризнаков, сосредотачиваясь на качестве и семантическом соответствии, игнорируя синхронизацию или жертвуя некоторым уровнем качества, чтобы сосредоточиться только на улучшении синхронизации. В данной работе мы предлагаем генеративную модель V2A, названную MaskVAT, которая соединяет полосовой высококачественный общий аудиокодек с маскированной генеративной моделью последовательности. Это сочетание позволяет моделировать как высокое качество звука, семантическое соответствие, так и временную синхронизацию одновременно. Наши результаты показывают, что, объединяя высококачественный кодек с соответствующими предварительно обученными аудиовизуальными признаками и параллельной структурой последовательности к последовательности, мы можем достичь высокой синхронизации с одной стороны, оставаясь конкурентоспособными с передовыми моделями генерации аудио без кодека. Образцы видео и созданные аудиозаписи доступны на https://maskvat.github.io.

English

Video-to-audio (V2A) generation leverages visual-only video features to render plausible sounds that match the scene. Importantly, the generated sound onsets should match the visual actions that are aligned with them, otherwise unnatural synchronization artifacts arise. Recent works have explored the progression of conditioning sound generators on still images and then video features, focusing on quality and semantic matching while ignoring synchronization, or by sacrificing some amount of quality to focus on improving synchronization only. In this work, we propose a V2A generative model, named MaskVAT, that interconnects a full-band high-quality general audio codec with a sequence-to-sequence masked generative model. This combination allows modeling both high audio quality, semantic matching, and temporal synchronicity at the same time. Our results show that, by combining a high-quality codec with the proper pre-trained audio-visual features and a sequence-to-sequence parallel structure, we are able to yield highly synchronized results on one hand, whilst being competitive with the state of the art of non-codec generative audio models. Sample videos and generated audios are available at https://maskvat.github.io .