^RFLAV: Fluxo Contínuo para Geração Infinita de Áudio e Vídeo

^RFLAV: Rolling Flow matching for infinite Audio Video generation

March 11, 2025

Autores: Alex Ergasti, Giuseppe Gabriele Tarollo, Filippo Botti, Tomaso Fontanini, Claudio Ferrari, Massimo Bertozzi, Andrea Prati

cs.AI

Resumo

A geração conjunta de áudio e vídeo (AV) ainda representa um desafio significativo na IA generativa, principalmente devido a três requisitos críticos: qualidade das amostras geradas, sincronização multimodal perfeita e coerência temporal, com faixas de áudio que correspondam aos dados visuais e vice-versa, e duração ilimitada do vídeo. Neste artigo, apresentamos , uma nova arquitetura baseada em transformers que aborda todos os principais desafios da geração AV. Exploramos três módulos distintos de interação entre modalidades, com nosso módulo leve de fusão temporal emergindo como a abordagem mais eficaz e computacionalmente eficiente para alinhar as modalidades de áudio e visual. Nossos resultados experimentais demonstram que supera os modelos state-of-the-art existentes em tarefas de geração multimodal AV. Nosso código e checkpoints estão disponíveis em https://github.com/ErgastiAlex/R-FLAV.

English

Joint audio-video (AV) generation is still a significant challenge in generative AI, primarily due to three critical requirements: quality of the generated samples, seamless multimodal synchronization and temporal coherence, with audio tracks that match the visual data and vice versa, and limitless video duration. In this paper, we present , a novel transformer-based architecture that addresses all the key challenges of AV generation. We explore three distinct cross modality interaction modules, with our lightweight temporal fusion module emerging as the most effective and computationally efficient approach for aligning audio and visual modalities. Our experimental results demonstrate that outperforms existing state-of-the-art models in multimodal AV generation tasks. Our code and checkpoints are available at https://github.com/ErgastiAlex/R-FLAV.