Áudio Temporalmente Alinhado para Vídeo com Autoregressão

Temporally Aligned Audio for Video with Autoregression

September 20, 2024

Autores: Ilpo Viertola, Vladimir Iashin, Esa Rahtu

cs.AI

Resumo

Apresentamos o V-AURA, o primeiro modelo autoregressivo a alcançar alta sincronização temporal e relevância na geração de vídeo para áudio. O V-AURA utiliza um extrator de características visuais de alta taxa de quadros e uma estratégia de fusão de características áudio-visuais cruzadas para capturar eventos de movimento visual detalhados e garantir uma sincronização temporal precisa. Além disso, propomos o VisualSound, um conjunto de dados de referência com alta relevância áudio-visual. O VisualSound é baseado no VGGSound, um conjunto de dados de vídeo composto por amostras do mundo real extraídas do YouTube. Durante a curadoria, removemos amostras onde os eventos auditivos não estão alinhados com os visuais. O V-AURA supera os modelos atuais de ponta em sincronização temporal e relevância semântica, mantendo uma qualidade de áudio comparável. Código, amostras, VisualSound e modelos estão disponíveis em https://v-aura.notion.site

English

We introduce V-AURA, the first autoregressive model to achieve high temporal alignment and relevance in video-to-audio generation. V-AURA uses a high-framerate visual feature extractor and a cross-modal audio-visual feature fusion strategy to capture fine-grained visual motion events and ensure precise temporal alignment. Additionally, we propose VisualSound, a benchmark dataset with high audio-visual relevance. VisualSound is based on VGGSound, a video dataset consisting of in-the-wild samples extracted from YouTube. During the curation, we remove samples where auditory events are not aligned with the visual ones. V-AURA outperforms current state-of-the-art models in temporal alignment and semantic relevance while maintaining comparable audio quality. Code, samples, VisualSound and models are available at https://v-aura.notion.site