Временно выровненное аудио для видео с авторегрессией.

Temporally Aligned Audio for Video with Autoregression

September 20, 2024

Авторы: Ilpo Viertola, Vladimir Iashin, Esa Rahtu

cs.AI

Аннотация

Мы представляем V-AURA - первую авторегрессионную модель, достигающую высокой временной согласованности и релевантности в генерации видео к аудио. V-AURA использует извлекатель признаков высокой частоты кадров и стратегию слияния кросс-модальных аудио-визуальных признаков для захвата мелких визуальных движений и обеспечения точной временной согласованности. Кроме того, мы предлагаем VisualSound - набор данных для оценки с высокой аудио-визуальной релевантностью. VisualSound основан на VGGSound, видео-наборе данных, состоящем из образцов из реальной жизни, извлеченных из YouTube. В процессе курации мы удаляем образцы, где звуковые события не согласованы с визуальными. V-AURA превосходит текущие передовые модели по временной согласованности и семантической релевантности, сохраняя сопоставимое качество звука. Код, образцы, VisualSound и модели доступны по ссылке https://v-aura.notion.site

English

We introduce V-AURA, the first autoregressive model to achieve high temporal alignment and relevance in video-to-audio generation. V-AURA uses a high-framerate visual feature extractor and a cross-modal audio-visual feature fusion strategy to capture fine-grained visual motion events and ensure precise temporal alignment. Additionally, we propose VisualSound, a benchmark dataset with high audio-visual relevance. VisualSound is based on VGGSound, a video dataset consisting of in-the-wild samples extracted from YouTube. During the curation, we remove samples where auditory events are not aligned with the visual ones. V-AURA outperforms current state-of-the-art models in temporal alignment and semantic relevance while maintaining comparable audio quality. Code, samples, VisualSound and models are available at https://v-aura.notion.site