Zeitlich abgestimmter Ton für Videos mit Autoregression

Temporally Aligned Audio for Video with Autoregression

September 20, 2024

Autoren: Ilpo Viertola, Vladimir Iashin, Esa Rahtu

cs.AI

Zusammenfassung

Wir stellen V-AURA vor, das erste autoregressive Modell, das eine hohe zeitliche Ausrichtung und Relevanz bei der Video-zu-Audio-Generierung erreicht. V-AURA verwendet einen Visual-Feature-Extractor mit hoher Bildrate und eine cross-modale Audio-Visuelle Merkmalsfusion-Strategie, um feingranulare visuelle Bewegungsereignisse zu erfassen und eine präzise zeitliche Ausrichtung sicherzustellen. Zusätzlich schlagen wir VisualSound vor, einen Benchmark-Datensatz mit hoher Audio-Visueller Relevanz. VisualSound basiert auf VGGSound, einem Videodatensatz, der aus in-the-wild Proben extrahiert wurde, die von YouTube stammen. Während der Kuratierung entfernen wir Proben, bei denen auditive Ereignisse nicht mit den visuellen übereinstimmen. V-AURA übertrifft aktuelle State-of-the-Art-Modelle in der zeitlichen Ausrichtung und semantischen Relevanz, während die vergleichbare Audioqualität beibehalten wird. Code, Proben, VisualSound und Modelle sind verfügbar unter https://v-aura.notion.site

English

We introduce V-AURA, the first autoregressive model to achieve high temporal alignment and relevance in video-to-audio generation. V-AURA uses a high-framerate visual feature extractor and a cross-modal audio-visual feature fusion strategy to capture fine-grained visual motion events and ensure precise temporal alignment. Additionally, we propose VisualSound, a benchmark dataset with high audio-visual relevance. VisualSound is based on VGGSound, a video dataset consisting of in-the-wild samples extracted from YouTube. During the curation, we remove samples where auditory events are not aligned with the visual ones. V-AURA outperforms current state-of-the-art models in temporal alignment and semantic relevance while maintaining comparable audio quality. Code, samples, VisualSound and models are available at https://v-aura.notion.site