ε-VAE: Denoising als Visuele Decodering

ε-VAE: Denoising as Visual Decoding

October 5, 2024

Auteurs: Long Zhao, Sanghyun Woo, Ziyu Wan, Yandong Li, Han Zhang, Boqing Gong, Hartwig Adam, Xuhui Jia, Ting Liu

cs.AI

Samenvatting

Bij generatieve modellering vereenvoudigt tokenisatie complexe gegevens tot compacte, gestructureerde representaties, waardoor een efficiënter, leerbaar ruimte ontstaat. Voor hoog-dimensionale visuele gegevens vermindert het redundantie en benadrukt het belangrijke kenmerken voor hoogwaardige generatie. Huidige visuele tokenisatiemethoden vertrouwen op een traditioneel auto-encoder framework, waarbij de encoder gegevens comprimeert tot latente representaties, en de decoder reconstrueert de oorspronkelijke invoer. In dit werk bieden we een nieuw perspectief door denoising voor te stellen als decodering, waarbij we verschuiven van enkelvoudige reconstructie naar iteratieve verfijning. Specifiek vervangen we de decoder door een diffusieproces dat iteratief ruis verfijnt om het oorspronkelijke beeld te herstellen, geleid door de latente representaties verstrekt door de encoder. We evalueren onze aanpak door zowel reconstructiekwaliteit (rFID) als generatiekwaliteit (FID) te beoordelen, waarbij we het vergelijken met de state-of-the-art auto-encoder benadering. We hopen dat dit werk nieuwe inzichten biedt in het integreren van iteratieve generatie en auto-encodering voor verbeterde compressie en generatie.

English

In generative modeling, tokenization simplifies complex data into compact, structured representations, creating a more efficient, learnable space. For high-dimensional visual data, it reduces redundancy and emphasizes key features for high-quality generation. Current visual tokenization methods rely on a traditional autoencoder framework, where the encoder compresses data into latent representations, and the decoder reconstructs the original input. In this work, we offer a new perspective by proposing denoising as decoding, shifting from single-step reconstruction to iterative refinement. Specifically, we replace the decoder with a diffusion process that iteratively refines noise to recover the original image, guided by the latents provided by the encoder. We evaluate our approach by assessing both reconstruction (rFID) and generation quality (FID), comparing it to state-of-the-art autoencoding approach. We hope this work offers new insights into integrating iterative generation and autoencoding for improved compression and generation.