Ecos Visuais: Um Transformador Unificado e Simples para Geração Áudio-Visual
Visual Echoes: A Simple Unified Transformer for Audio-Visual Generation
May 23, 2024
Autores: Shiqi Yang, Zhi Zhong, Mengjie Zhao, Shusuke Takahashi, Masato Ishii, Takashi Shibuya, Yuki Mitsufuji
cs.AI
Resumo
Nos últimos anos, com resultados de geração realistas e uma ampla gama de aplicações personalizadas, os modelos generativos baseados em difusão ganharam grande atenção tanto na geração visual quanto na geração de áudio. Em comparação com os avanços consideráveis na geração de texto para imagem ou texto para áudio, a pesquisa em geração de áudio para visual ou visual para áudio tem sido relativamente lenta. Os métodos recentes de geração áudio-visual geralmente recorrem a grandes modelos de linguagem ou modelos de difusão composicionais. Em vez de projetar outro modelo gigante para geração áudio-visual, neste artigo damos um passo atrás, mostrando que um transformador generativo simples e leve, que não foi totalmente explorado na geração multimodal, pode alcançar excelentes resultados na geração de imagem para áudio. O transformador opera no espaço discreto de áudio e visual do Vector-Quantized GAN e é treinado de maneira a desnaturar máscaras. Após o treinamento, a orientação sem classificador pode ser implementada prontamente, alcançando melhor desempenho, sem qualquer treinamento ou modificação adicional. Como o modelo de transformador é simétrico em termos de modalidade, ele também pode ser diretamente implantado para geração de áudio para imagem e co-geração. Nos experimentos, mostramos que nosso método simples supera os métodos recentes de geração de imagem para áudio. Amostras de áudio geradas podem ser encontradas em https://docs.google.com/presentation/d/1ZtC0SeblKkut4XJcRaDsSTuCRIXB3ypxmSi7HTY3IyQ.
English
In recent years, with the realistic generation results and a wide range of
personalized applications, diffusion-based generative models gain huge
attention in both visual and audio generation areas. Compared to the
considerable advancements of text2image or text2audio generation, research in
audio2visual or visual2audio generation has been relatively slow. The recent
audio-visual generation methods usually resort to huge large language model or
composable diffusion models. Instead of designing another giant model for
audio-visual generation, in this paper we take a step back showing a simple and
lightweight generative transformer, which is not fully investigated in
multi-modal generation, can achieve excellent results on image2audio
generation. The transformer operates in the discrete audio and visual
Vector-Quantized GAN space, and is trained in the mask denoising manner. After
training, the classifier-free guidance could be deployed off-the-shelf
achieving better performance, without any extra training or modification. Since
the transformer model is modality symmetrical, it could also be directly
deployed for audio2image generation and co-generation. In the experiments, we
show that our simple method surpasses recent image2audio generation methods.
Generated audio samples can be found at
https://docs.google.com/presentation/d/1ZtC0SeblKkut4XJcRaDsSTuCRIXB3ypxmSi7HTY3IyQ