ε-VAE: Remoção de Ruído como Decodificação Visual

ε-VAE: Denoising as Visual Decoding

October 5, 2024

Autores: Long Zhao, Sanghyun Woo, Ziyu Wan, Yandong Li, Han Zhang, Boqing Gong, Hartwig Adam, Xuhui Jia, Ting Liu

cs.AI

Resumo

Na modelagem generativa, a tokenização simplifica dados complexos em representações compactas e estruturadas, criando um espaço mais eficiente e passível de aprendizado. Para dados visuais de alta dimensionalidade, ela reduz a redundância e enfatiza características-chave para uma geração de alta qualidade. Os métodos atuais de tokenização visual dependem de um framework tradicional de autoencoder, no qual o codificador comprime os dados em representações latentes, e o decodificador reconstrói a entrada original. Neste trabalho, oferecemos uma nova perspectiva ao propor a remoção de ruído como decodificação, mudando da reconstrução em um único passo para um refinamento iterativo. Especificamente, substituímos o decodificador por um processo de difusão que refina iterativamente o ruído para recuperar a imagem original, guiado pelas latentes fornecidas pelo codificador. Avaliamos nossa abordagem ao analisar tanto a qualidade de reconstrução (rFID) quanto a qualidade de geração (FID), comparando-a com a abordagem de autoencoder de ponta. Esperamos que este trabalho ofereça novas perspectivas sobre a integração de geração iterativa e autoencoding para uma compressão e geração aprimoradas.

English

In generative modeling, tokenization simplifies complex data into compact, structured representations, creating a more efficient, learnable space. For high-dimensional visual data, it reduces redundancy and emphasizes key features for high-quality generation. Current visual tokenization methods rely on a traditional autoencoder framework, where the encoder compresses data into latent representations, and the decoder reconstructs the original input. In this work, we offer a new perspective by proposing denoising as decoding, shifting from single-step reconstruction to iterative refinement. Specifically, we replace the decoder with a diffusion process that iteratively refines noise to recover the original image, guided by the latents provided by the encoder. We evaluate our approach by assessing both reconstruction (rFID) and generation quality (FID), comparing it to state-of-the-art autoencoding approach. We hope this work offers new insights into integrating iterative generation and autoencoding for improved compression and generation.