ε-VAE: Denoising come Decodifica Visiva
ε-VAE: Denoising as Visual Decoding
October 5, 2024
Autori: Long Zhao, Sanghyun Woo, Ziyu Wan, Yandong Li, Han Zhang, Boqing Gong, Hartwig Adam, Xuhui Jia, Ting Liu
cs.AI
Abstract
Nella modellazione generativa, la tokenizzazione semplifica dati complessi in rappresentazioni compatte e strutturate, creando uno spazio di apprendimento più efficiente. Per dati visivi ad alta dimensionalità, riduce la ridondanza ed enfatizza le caratteristiche chiave per una generazione di alta qualità. I metodi attuali di tokenizzazione visiva si basano su un framework tradizionale di autoencoder, in cui l'encoder comprime i dati in rappresentazioni latenti e il decoder ricostruisce l'input originale. In questo lavoro, offriamo una nuova prospettiva proponendo il denoising come decodifica, passando dalla ricostruzione in un solo passaggio al raffinamento iterativo. In particolare, sostituiamo il decoder con un processo di diffusione che raffina iterativamente il rumore per recuperare l'immagine originale, guidato dalle latenti fornite dall'encoder. Valutiamo il nostro approccio valutando sia la ricostruzione (rFID) che la qualità della generazione (FID), confrontandolo con l'approccio di autoencoding all'avanguardia. Ci auguriamo che questo lavoro offra nuove intuizioni sull'integrazione della generazione iterativa e dell'autoencoding per una compressione e generazione migliorate.
English
In generative modeling, tokenization simplifies complex data into compact,
structured representations, creating a more efficient, learnable space. For
high-dimensional visual data, it reduces redundancy and emphasizes key features
for high-quality generation. Current visual tokenization methods rely on a
traditional autoencoder framework, where the encoder compresses data into
latent representations, and the decoder reconstructs the original input. In
this work, we offer a new perspective by proposing denoising as decoding,
shifting from single-step reconstruction to iterative refinement. Specifically,
we replace the decoder with a diffusion process that iteratively refines noise
to recover the original image, guided by the latents provided by the encoder.
We evaluate our approach by assessing both reconstruction (rFID) and generation
quality (FID), comparing it to state-of-the-art autoencoding approach. We hope
this work offers new insights into integrating iterative generation and
autoencoding for improved compression and generation.