Tijdelijk uitgelijnde audio voor video met autoregressie.

Temporally Aligned Audio for Video with Autoregression

September 20, 2024

Auteurs: Ilpo Viertola, Vladimir Iashin, Esa Rahtu

cs.AI

Samenvatting

We introduceren V-AURA, het eerste autoregressieve model dat hoge temporele uitlijning en relevantie bereikt in video-naar-audio generatie. V-AURA maakt gebruik van een visual feature extractor met een hoge framerate en een cross-modale audio-visuele feature fusie strategie om fijnkorrelige visuele bewegingsevenementen vast te leggen en nauwkeurige temporele uitlijning te garanderen. Daarnaast stellen we VisualSound voor, een benchmark dataset met hoge audio-visuele relevantie. VisualSound is gebaseerd op VGGSound, een videodataset bestaande uit in-the-wild samples geëxtraheerd van YouTube. Tijdens de samenstelling verwijderen we samples waar auditieve gebeurtenissen niet uitgelijnd zijn met de visuele. V-AURA presteert beter dan de huidige state-of-the-art modellen op het gebied van temporele uitlijning en semantische relevantie, terwijl het een vergelijkbare audiokwaliteit behoudt. Code, samples, VisualSound en modellen zijn beschikbaar op https://v-aura.notion.site

English

We introduce V-AURA, the first autoregressive model to achieve high temporal alignment and relevance in video-to-audio generation. V-AURA uses a high-framerate visual feature extractor and a cross-modal audio-visual feature fusion strategy to capture fine-grained visual motion events and ensure precise temporal alignment. Additionally, we propose VisualSound, a benchmark dataset with high audio-visual relevance. VisualSound is based on VGGSound, a video dataset consisting of in-the-wild samples extracted from YouTube. During the curation, we remove samples where auditory events are not aligned with the visual ones. V-AURA outperforms current state-of-the-art models in temporal alignment and semantic relevance while maintaining comparable audio quality. Code, samples, VisualSound and models are available at https://v-aura.notion.site