^RFLAV: Rolling Flow matching voor oneindige Audio-Video generatie

^RFLAV: Rolling Flow matching for infinite Audio Video generation

March 11, 2025

Auteurs: Alex Ergasti, Giuseppe Gabriele Tarollo, Filippo Botti, Tomaso Fontanini, Claudio Ferrari, Massimo Bertozzi, Andrea Prati

cs.AI

Samenvatting

Gezamenlijke audio-video (AV) generatie blijft een aanzienlijke uitdaging in generatieve AI, voornamelijk vanwege drie kritieke vereisten: de kwaliteit van de gegenereerde samples, naadloze multimodale synchronisatie en temporele samenhang, waarbij audiosporen overeenkomen met de visuele data en vice versa, en onbeperkte videoduur. In dit artikel presenteren we een nieuwe transformer-gebaseerde architectuur die alle belangrijke uitdagingen van AV-generatie aanpakt. We onderzoeken drie verschillende cross-modale interactiemodules, waarbij onze lichtgewicht temporele fusiemodule naar voren komt als de meest effectieve en computationeel efficiënte aanpak voor het afstemmen van audio- en visuele modaliteiten. Onze experimentele resultaten tonen aan dat de bestaande state-of-the-art modellen overtreft in multimodale AV-generatietaken. Onze code en checkpoints zijn beschikbaar op https://github.com/ErgastiAlex/R-FLAV.

English

Joint audio-video (AV) generation is still a significant challenge in generative AI, primarily due to three critical requirements: quality of the generated samples, seamless multimodal synchronization and temporal coherence, with audio tracks that match the visual data and vice versa, and limitless video duration. In this paper, we present , a novel transformer-based architecture that addresses all the key challenges of AV generation. We explore three distinct cross modality interaction modules, with our lightweight temporal fusion module emerging as the most effective and computationally efficient approach for aligning audio and visual modalities. Our experimental results demonstrate that outperforms existing state-of-the-art models in multimodal AV generation tasks. Our code and checkpoints are available at https://github.com/ErgastiAlex/R-FLAV.