ε-VAE: ノイズ除去を視覚的なデコーディングとして

ε-VAE: Denoising as Visual Decoding

October 5, 2024

著者: Long Zhao, Sanghyun Woo, Ziyu Wan, Yandong Li, Han Zhang, Boqing Gong, Hartwig Adam, Xuhui Jia, Ting Liu

cs.AI

要旨

生成モデリングにおいて、トークン化は複雑なデータをコンパクトで構造化された表現に単純化し、より効率的で学習可能な空間を作り出します。高次元の視覚データにおいては、冗長性を減らし、高品質な生成のために主要な特徴を強調します。現在の視覚トークン化手法は、データを潜在表現に圧縮するエンコーダと、元の入力を再構築するデコーダに依存しています。本研究では、新たな視点を提供するために、単一段階の再構築から反復的な改良へと移行し、ノイズ除去をデコーディングとして提案します。具体的には、デコーダを置き換えて、エンコーダによって提供された潜在表現に導かれながら、ノイズを反復的に洗練して元の画像を回復する拡散プロセスを使用します。我々は、再構築（rFID）と生成品質（FID）の両方を評価し、最先端のオートエンコーディング手法と比較することで、我々の手法を評価します。この研究が、反復的生成とオートエンコーディングを統合して圧縮と生成の向上を図る新たな洞察を提供することを願っています。

English

In generative modeling, tokenization simplifies complex data into compact, structured representations, creating a more efficient, learnable space. For high-dimensional visual data, it reduces redundancy and emphasizes key features for high-quality generation. Current visual tokenization methods rely on a traditional autoencoder framework, where the encoder compresses data into latent representations, and the decoder reconstructs the original input. In this work, we offer a new perspective by proposing denoising as decoding, shifting from single-step reconstruction to iterative refinement. Specifically, we replace the decoder with a diffusion process that iteratively refines noise to recover the original image, guided by the latents provided by the encoder. We evaluate our approach by assessing both reconstruction (rFID) and generation quality (FID), comparing it to state-of-the-art autoencoding approach. We hope this work offers new insights into integrating iterative generation and autoencoding for improved compression and generation.