AV-DiT: Efficiënte Audio-Visuele Diffusie Transformer voor Gezamenlijke Audio- en Videogeneratie

AV-DiT: Efficient Audio-Visual Diffusion Transformer for Joint Audio and Video Generation

June 11, 2024

Auteurs: Kai Wang, Shijian Deng, Jing Shi, Dimitrios Hatzinakos, Yapeng Tian

cs.AI

Samenvatting

Recente Diffusion Transformers (DiTs) hebben indrukwekkende mogelijkheden getoond in het genereren van hoogwaardige inhoud met één modaliteit, waaronder afbeeldingen, video's en audio. Het is echter nog steeds onderbelicht of de transformer-gebaseerde diffuser efficiënt Gaussiaanse ruis kan denoizen richting uitstekende multimodale inhoudcreatie. Om deze kloof te overbruggen, introduceren we AV-DiT, een nieuwe en efficiënte audio-visuele diffusion transformer die is ontworpen om hoogwaardige, realistische video's te genereren met zowel visuele als audiotracks. Om de modelcomplexiteit en rekenkosten te minimaliseren, maakt AV-DiT gebruik van een gedeelde DiT-backbone die vooraf is getraind op alleen beeldgegevens, waarbij alleen lichtgewicht, nieuw ingevoegde adapters trainbaar zijn. Deze gedeelde backbone faciliteert zowel audio- als videogeneratie. Specifiek bevat de videotak een trainbare temporele aandachtlaag in een bevroren, vooraf getrainde DiT-blok voor temporele consistentie. Daarnaast past een klein aantal trainbare parameters het op afbeeldingen gebaseerde DiT-blok aan voor audiogeneratie. Een extra gedeeld DiT-blok, uitgerust met lichtgewicht parameters, faciliteert feature-interactie tussen audio- en visuele modaliteiten, wat zorgt voor uitlijning. Uitgebreide experimenten op de AIST++ en Landscape datasets tonen aan dat AV-DiT state-of-the-art prestaties bereikt in gezamenlijke audio-visuele generatie met aanzienlijk minder afstelbare parameters. Bovendien benadrukken onze resultaten dat een enkele gedeelde backbone voor beeldgeneratie met modaliteit-specifieke aanpassingen voldoende is voor het construeren van een gezamenlijke audio-videogenerator. Onze broncode en vooraf getrainde modellen zullen worden vrijgegeven.

English

Recent Diffusion Transformers (DiTs) have shown impressive capabilities in generating high-quality single-modality content, including images, videos, and audio. However, it is still under-explored whether the transformer-based diffuser can efficiently denoise the Gaussian noises towards superb multimodal content creation. To bridge this gap, we introduce AV-DiT, a novel and efficient audio-visual diffusion transformer designed to generate high-quality, realistic videos with both visual and audio tracks. To minimize model complexity and computational costs, AV-DiT utilizes a shared DiT backbone pre-trained on image-only data, with only lightweight, newly inserted adapters being trainable. This shared backbone facilitates both audio and video generation. Specifically, the video branch incorporates a trainable temporal attention layer into a frozen pre-trained DiT block for temporal consistency. Additionally, a small number of trainable parameters adapt the image-based DiT block for audio generation. An extra shared DiT block, equipped with lightweight parameters, facilitates feature interaction between audio and visual modalities, ensuring alignment. Extensive experiments on the AIST++ and Landscape datasets demonstrate that AV-DiT achieves state-of-the-art performance in joint audio-visual generation with significantly fewer tunable parameters. Furthermore, our results highlight that a single shared image generative backbone with modality-specific adaptations is sufficient for constructing a joint audio-video generator. Our source code and pre-trained models will be released.