Zien en Horen: Open-domein Visueel-Audio Generatie met Diffusie Latente Uitlijners
Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners
February 27, 2024
Auteurs: Yazhou Xing, Yingqing He, Zeyue Tian, Xintao Wang, Qifeng Chen
cs.AI
Samenvatting
Video- en audiocontentcreatie vormt de kerntechniek voor de filmindustrie en professionele gebruikers. Recentelijk behandelen bestaande op diffusie gebaseerde methoden videogeneratie en audiogeneratie afzonderlijk, wat de overdracht van de techniek van academie naar industrie belemmert. In dit werk streven we ernaar deze kloof te overbruggen met een zorgvuldig ontworpen, op optimalisatie gebaseerd raamwerk voor cross-visueel-audio en gezamenlijke visueel-audiogeneratie. We observeren de krachtige generatiecapaciteit van kant-en-klare video- of audiogeneratiemodellen. Daarom stellen we voor om in plaats van gigantische modellen vanaf nul te trainen, de bestaande sterke modellen te verbinden met een gedeelde latente representatieruimte. Specifiek introduceren we een multimodale latente aligner met het vooraf getrainde ImageBind-model. Onze latente aligner deelt een vergelijkbare kern als de classifier guidance die het diffusie-ontruisingsproces tijdens de inferentietijd begeleidt. Door een zorgvuldig ontworpen optimalisatiestrategie en verliesfuncties tonen we de superieure prestaties van onze methode aan bij gezamenlijke video-audiogeneratie, visueel-gestuurde audiogeneratie en audio-gestuurde visuele generatietaken. De projectwebsite is te vinden op https://yzxing87.github.io/Seeing-and-Hearing/.
English
Video and audio content creation serves as the core technique for the movie
industry and professional users. Recently, existing diffusion-based methods
tackle video and audio generation separately, which hinders the technique
transfer from academia to industry. In this work, we aim at filling the gap,
with a carefully designed optimization-based framework for cross-visual-audio
and joint-visual-audio generation. We observe the powerful generation ability
of off-the-shelf video or audio generation models. Thus, instead of training
the giant models from scratch, we propose to bridge the existing strong models
with a shared latent representation space. Specifically, we propose a
multimodality latent aligner with the pre-trained ImageBind model. Our latent
aligner shares a similar core as the classifier guidance that guides the
diffusion denoising process during inference time. Through carefully designed
optimization strategy and loss functions, we show the superior performance of
our method on joint video-audio generation, visual-steered audio generation,
and audio-steered visual generation tasks. The project website can be found at
https://yzxing87.github.io/Seeing-and-Hearing/