ε-VAE: Rauschunterdrückung als visuelles Dekodieren

ε-VAE: Denoising as Visual Decoding

October 5, 2024

Autoren: Long Zhao, Sanghyun Woo, Ziyu Wan, Yandong Li, Han Zhang, Boqing Gong, Hartwig Adam, Xuhui Jia, Ting Liu

cs.AI

Zusammenfassung

Bei der generativen Modellierung vereinfacht die Tokenisierung komplexe Daten zu kompakten, strukturierten Darstellungen, wodurch ein effizienterer, erlernbarer Raum geschaffen wird. Für hochdimensionale visuelle Daten reduziert sie Redundanzen und betont Schlüsselfunktionen für eine hochwertige Generierung. Aktuelle visuelle Tokenisierungsmethoden basieren auf einem traditionellen Autoencoder-Framework, bei dem der Encoder Daten in latente Repräsentationen komprimiert und der Decoder die ursprüngliche Eingabe rekonstruiert. In dieser Arbeit bieten wir eine neue Perspektive, indem wir das Dekodieren als Rauschunterdrückung vorschlagen und uns von der einstufigen Rekonstruktion zu einer iterativen Verfeinerung bewegen. Konkret ersetzen wir den Decoder durch einen Diffusionsprozess, der iterativ Rauschen verfeinert, um das ursprüngliche Bild wiederherzustellen, geleitet von den Latenten, die vom Encoder bereitgestellt werden. Wir bewerten unseren Ansatz, indem wir sowohl die Rekonstruktionsqualität (rFID) als auch die Generierungsqualität (FID) beurteilen und ihn mit dem state-of-the-art Autoencoding-Ansatz vergleichen. Wir hoffen, dass diese Arbeit neue Einblicke in die Integration iterativer Generierung und Autoencoding für verbesserte Kompression und Generierung bietet.

English

In generative modeling, tokenization simplifies complex data into compact, structured representations, creating a more efficient, learnable space. For high-dimensional visual data, it reduces redundancy and emphasizes key features for high-quality generation. Current visual tokenization methods rely on a traditional autoencoder framework, where the encoder compresses data into latent representations, and the decoder reconstructs the original input. In this work, we offer a new perspective by proposing denoising as decoding, shifting from single-step reconstruction to iterative refinement. Specifically, we replace the decoder with a diffusion process that iteratively refines noise to recover the original image, guided by the latents provided by the encoder. We evaluate our approach by assessing both reconstruction (rFID) and generation quality (FID), comparing it to state-of-the-art autoencoding approach. We hope this work offers new insights into integrating iterative generation and autoencoding for improved compression and generation.