^RFLAV: Rolling Flow Matching для бесконечной генерации аудио и видео

^RFLAV: Rolling Flow matching for infinite Audio Video generation

March 11, 2025

Авторы: Alex Ergasti, Giuseppe Gabriele Tarollo, Filippo Botti, Tomaso Fontanini, Claudio Ferrari, Massimo Bertozzi, Andrea Prati

cs.AI

Аннотация

Совместная генерация аудио-видео (AV) данных остается серьезной проблемой в области генеративного ИИ, что обусловлено тремя ключевыми требованиями: качество генерируемых образцов, бесшовная мультимодальная синхронизация и временная согласованность, при которой аудиодорожки соответствуют визуальным данным и наоборот, а также неограниченная продолжительность видео. В данной статье мы представляем новую архитектуру на основе трансформеров, которая решает все основные задачи генерации AV. Мы исследуем три различных модуля взаимодействия между модальностями, причем наш легковесный модуль временного слияния оказывается наиболее эффективным и вычислительно экономичным подходом для согласования аудио и визуальных модальностей. Результаты экспериментов показывают, что наша модель превосходит существующие передовые модели в задачах мультимодальной генерации AV. Наш код и контрольные точки доступны по адресу https://github.com/ErgastiAlex/R-FLAV.

English

Joint audio-video (AV) generation is still a significant challenge in generative AI, primarily due to three critical requirements: quality of the generated samples, seamless multimodal synchronization and temporal coherence, with audio tracks that match the visual data and vice versa, and limitless video duration. In this paper, we present , a novel transformer-based architecture that addresses all the key challenges of AV generation. We explore three distinct cross modality interaction modules, with our lightweight temporal fusion module emerging as the most effective and computationally efficient approach for aligning audio and visual modalities. Our experimental results demonstrate that outperforms existing state-of-the-art models in multimodal AV generation tasks. Our code and checkpoints are available at https://github.com/ErgastiAlex/R-FLAV.