^RFLAV : Appariement de flux continu pour la génération infinie d'audio et de vidéo

^RFLAV: Rolling Flow matching for infinite Audio Video generation

March 11, 2025

Auteurs: Alex Ergasti, Giuseppe Gabriele Tarollo, Filippo Botti, Tomaso Fontanini, Claudio Ferrari, Massimo Bertozzi, Andrea Prati

cs.AI

Résumé

La génération conjointe audio-vidéo (AV) reste un défi majeur dans le domaine de l'IA générative, principalement en raison de trois exigences critiques : la qualité des échantillons générés, la synchronisation multimodale fluide et la cohérence temporelle, avec des pistes audio correspondant aux données visuelles et vice versa, ainsi qu'une durée vidéo illimitée. Dans cet article, nous présentons , une nouvelle architecture basée sur les transformateurs qui aborde tous les défis clés de la génération AV. Nous explorons trois modules distincts d'interaction intermodale, notre module de fusion temporelle léger se révélant comme l'approche la plus efficace et la plus efficiente sur le plan computationnel pour aligner les modalités audio et visuelles. Nos résultats expérimentaux démontrent que surpasse les modèles de pointe existants dans les tâches de génération multimodale AV. Notre code et nos points de contrôle sont disponibles à l'adresse https://github.com/ErgastiAlex/R-FLAV.

English

Joint audio-video (AV) generation is still a significant challenge in generative AI, primarily due to three critical requirements: quality of the generated samples, seamless multimodal synchronization and temporal coherence, with audio tracks that match the visual data and vice versa, and limitless video duration. In this paper, we present , a novel transformer-based architecture that addresses all the key challenges of AV generation. We explore three distinct cross modality interaction modules, with our lightweight temporal fusion module emerging as the most effective and computationally efficient approach for aligning audio and visual modalities. Our experimental results demonstrate that outperforms existing state-of-the-art models in multimodal AV generation tasks. Our code and checkpoints are available at https://github.com/ErgastiAlex/R-FLAV.