AV-DiT : Transformeur de diffusion audio-visuel efficace pour la génération conjointe d'audio et de vidéo

AV-DiT: Efficient Audio-Visual Diffusion Transformer for Joint Audio and Video Generation

June 11, 2024

Auteurs: Kai Wang, Shijian Deng, Jing Shi, Dimitrios Hatzinakos, Yapeng Tian

cs.AI

Résumé

Les récents Transformers de Diffusion (DiTs) ont démontré des capacités impressionnantes dans la génération de contenu monomodal de haute qualité, incluant des images, des vidéos et de l'audio. Cependant, il reste encore à explorer si le diffuseur basé sur les transformers peut débruiter efficacement les bruits gaussiens pour une création multimodale exceptionnelle. Pour combler cette lacune, nous introduisons AV-DiT, un nouveau et efficace transformer de diffusion audio-visuel conçu pour générer des vidéos réalistes de haute qualité avec des pistes visuelles et audio. Pour minimiser la complexité du modèle et les coûts de calcul, AV-DiT utilise un backbone DiT partagé pré-entraîné sur des données uniquement visuelles, avec seulement des adaptateurs légers et nouvellement insérés étant entraînables. Ce backbone partagé facilite la génération à la fois audio et vidéo. Plus précisément, la branche vidéo intègre une couche d'attention temporelle entraînable dans un bloc DiT pré-entraîné gelé pour assurer la cohérence temporelle. De plus, un petit nombre de paramètres entraînables adapte le bloc DiT basé sur les images pour la génération audio. Un bloc DiT partagé supplémentaire, équipé de paramètres légers, facilite l'interaction des caractéristiques entre les modalités audio et visuelles, assurant leur alignement. Des expériences approfondies sur les ensembles de données AIST++ et Landscape démontrent qu'AV-DiT atteint des performances de pointe dans la génération audio-visuelle conjointe avec un nombre significativement réduit de paramètres ajustables. De plus, nos résultats soulignent qu'un seul backbone génératif d'images partagé avec des adaptations spécifiques à chaque modalité est suffisant pour construire un générateur audio-vidéo conjoint. Notre code source et nos modèles pré-entraînés seront publiés.

English

Recent Diffusion Transformers (DiTs) have shown impressive capabilities in generating high-quality single-modality content, including images, videos, and audio. However, it is still under-explored whether the transformer-based diffuser can efficiently denoise the Gaussian noises towards superb multimodal content creation. To bridge this gap, we introduce AV-DiT, a novel and efficient audio-visual diffusion transformer designed to generate high-quality, realistic videos with both visual and audio tracks. To minimize model complexity and computational costs, AV-DiT utilizes a shared DiT backbone pre-trained on image-only data, with only lightweight, newly inserted adapters being trainable. This shared backbone facilitates both audio and video generation. Specifically, the video branch incorporates a trainable temporal attention layer into a frozen pre-trained DiT block for temporal consistency. Additionally, a small number of trainable parameters adapt the image-based DiT block for audio generation. An extra shared DiT block, equipped with lightweight parameters, facilitates feature interaction between audio and visual modalities, ensuring alignment. Extensive experiments on the AIST++ and Landscape datasets demonstrate that AV-DiT achieves state-of-the-art performance in joint audio-visual generation with significantly fewer tunable parameters. Furthermore, our results highlight that a single shared image generative backbone with modality-specific adaptations is sufficient for constructing a joint audio-video generator. Our source code and pre-trained models will be released.