Ver e Ouvir: Geração Visual-Audio de Domínio Aberto com Alinhadores Latentes de Difusão

Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners

February 27, 2024

Autores: Yazhou Xing, Yingqing He, Zeyue Tian, Xintao Wang, Qifeng Chen

cs.AI

Resumo

A criação de conteúdo em vídeo e áudio serve como técnica central para a indústria cinematográfica e usuários profissionais. Recentemente, os métodos existentes baseados em difusão abordam a geração de vídeo e áudio separadamente, o que dificulta a transferência dessa técnica da academia para a indústria. Neste trabalho, visamos preencher essa lacuna com um framework cuidadosamente projetado, baseado em otimização, para geração cruzada e conjunta de conteúdo visual e auditivo. Observamos a poderosa capacidade de geração dos modelos prontos para uso de geração de vídeo ou áudio. Assim, em vez de treinar modelos gigantes do zero, propomos conectar os modelos fortes existentes por meio de um espaço de representação latente compartilhado. Especificamente, propomos um alinhador de latência multimodal com o modelo ImageBind pré-treinado. Nosso alinhador de latência compartilha um núcleo semelhante ao da orientação por classificador, que guia o processo de remoção de ruído por difusão durante o tempo de inferência. Por meio de uma estratégia de otimização e funções de perda cuidadosamente projetadas, demonstramos o desempenho superior de nosso método em tarefas de geração conjunta de vídeo e áudio, geração de áudio guiada por visão e geração visual guiada por áudio. O site do projeto pode ser encontrado em https://yzxing87.github.io/Seeing-and-Hearing/.

English

Video and audio content creation serves as the core technique for the movie industry and professional users. Recently, existing diffusion-based methods tackle video and audio generation separately, which hinders the technique transfer from academia to industry. In this work, we aim at filling the gap, with a carefully designed optimization-based framework for cross-visual-audio and joint-visual-audio generation. We observe the powerful generation ability of off-the-shelf video or audio generation models. Thus, instead of training the giant models from scratch, we propose to bridge the existing strong models with a shared latent representation space. Specifically, we propose a multimodality latent aligner with the pre-trained ImageBind model. Our latent aligner shares a similar core as the classifier guidance that guides the diffusion denoising process during inference time. Through carefully designed optimization strategy and loss functions, we show the superior performance of our method on joint video-audio generation, visual-steered audio generation, and audio-steered visual generation tasks. The project website can be found at https://yzxing87.github.io/Seeing-and-Hearing/