ε-VAE: Шумоподавление как визуальная декодировка

ε-VAE: Denoising as Visual Decoding

October 5, 2024

Авторы: Long Zhao, Sanghyun Woo, Ziyu Wan, Yandong Li, Han Zhang, Boqing Gong, Hartwig Adam, Xuhui Jia, Ting Liu

cs.AI

Аннотация

В генеративном моделировании токенизация упрощает сложные данные до компактных, структурированных представлений, создавая более эффективное, обучаемое пространство. Для высокоразмерных визуальных данных она уменьшает избыточность и акцентирует ключевые особенности для генерации высокого качества. Существующие методы визуальной токенизации основаны на традиционной структуре автоэнкодера, где кодировщик сжимает данные в латентные представления, а декодер восстанавливает исходный ввод. В данной работе мы предлагаем новую перспективу, предлагая декодирование в виде удаления шума, переходя от одношаговой реконструкции к итеративному уточнению. Конкретно, мы заменяем декодер диффузионным процессом, который итеративно улучшает шум для восстановления исходного изображения, управляемый латентами, предоставленными кодировщиком. Мы оцениваем наш подход, оценивая как восстановление (rFID), так и качество генерации (FID), сравнивая его с передовым подходом автоэнкодирования. Мы надеемся, что данная работа предлагает новые идеи по интеграции итеративной генерации и автоэнкодирования для улучшения сжатия и генерации.

English

In generative modeling, tokenization simplifies complex data into compact, structured representations, creating a more efficient, learnable space. For high-dimensional visual data, it reduces redundancy and emphasizes key features for high-quality generation. Current visual tokenization methods rely on a traditional autoencoder framework, where the encoder compresses data into latent representations, and the decoder reconstructs the original input. In this work, we offer a new perspective by proposing denoising as decoding, shifting from single-step reconstruction to iterative refinement. Specifically, we replace the decoder with a diffusion process that iteratively refines noise to recover the original image, guided by the latents provided by the encoder. We evaluate our approach by assessing both reconstruction (rFID) and generation quality (FID), comparing it to state-of-the-art autoencoding approach. We hope this work offers new insights into integrating iterative generation and autoencoding for improved compression and generation.