ε-VAE : Débruitage en tant que décodage visuel

ε-VAE: Denoising as Visual Decoding

October 5, 2024

Auteurs: Long Zhao, Sanghyun Woo, Ziyu Wan, Yandong Li, Han Zhang, Boqing Gong, Hartwig Adam, Xuhui Jia, Ting Liu

cs.AI

Résumé

Dans la modélisation générative, la tokenisation simplifie les données complexes en représentations structurées et compactes, créant ainsi un espace d'apprentissage plus efficace. Pour les données visuelles de haute dimension, elle réduit la redondance et met en avant les caractéristiques clés pour une génération de haute qualité. Les méthodes actuelles de tokenisation visuelle reposent sur un cadre autoencodeur traditionnel, où l'encodeur compresse les données en représentations latentes, et le décodeur reconstruit l'entrée d'origine. Dans ce travail, nous proposons une nouvelle perspective en suggérant le débruitage comme décodage, passant de la reconstruction en une seule étape à un raffinement itératif. Plus précisément, nous remplaçons le décodeur par un processus de diffusion qui affine de manière itérative le bruit pour récupérer l'image d'origine, guidé par les latents fournis par l'encodeur. Nous évaluons notre approche en évaluant à la fois la reconstruction (rFID) et la qualité de génération (FID), en la comparant à une approche autoencodeur de pointe. Nous espérons que ce travail apportera de nouvelles perspectives sur l'intégration de la génération itérative et de l'autoencodage pour une compression et une génération améliorées.

English

In generative modeling, tokenization simplifies complex data into compact, structured representations, creating a more efficient, learnable space. For high-dimensional visual data, it reduces redundancy and emphasizes key features for high-quality generation. Current visual tokenization methods rely on a traditional autoencoder framework, where the encoder compresses data into latent representations, and the decoder reconstructs the original input. In this work, we offer a new perspective by proposing denoising as decoding, shifting from single-step reconstruction to iterative refinement. Specifically, we replace the decoder with a diffusion process that iteratively refines noise to recover the original image, guided by the latents provided by the encoder. We evaluate our approach by assessing both reconstruction (rFID) and generation quality (FID), comparing it to state-of-the-art autoencoding approach. We hope this work offers new insights into integrating iterative generation and autoencoding for improved compression and generation.