Latente denoising maakt goede visuele tokenizers

Latent Denoising Makes Good Visual Tokenizers

July 21, 2025

Auteurs: Jiawei Yang, Tianhong Li, Lijie Fan, Yonglong Tian, Yue Wang

cs.AI

Samenvatting

Ondanks hun fundamentele rol blijft het onduidelijk welke eigenschappen visuele tokenizers effectiever kunnen maken voor generatieve modellering. We observeren dat moderne generatieve modellen een conceptueel vergelijkbare trainingsdoelstelling delen — het reconstrueren van schone signalen uit verstoorde invoer, zoals Gaussische ruis of maskering — een proces dat we denoising noemen. Gemotiveerd door dit inzicht stellen we voor om tokenizer-embeddings rechtstreeks af te stemmen op het downstream denoising-doel, waardoor latente embeddings gemakkelijker kunnen worden gereconstrueerd, zelfs wanneer ze zwaar verstoord zijn. Om dit te bereiken introduceren we de Latent Denoising Tokenizer (l-DeTok), een eenvoudige maar effectieve tokenizer die is getraind om schone afbeeldingen te reconstrueren uit latente embeddings die zijn verstoord door interpolatieve ruis en willekeurige maskering. Uitgebreide experimenten op ImageNet 256x256 tonen aan dat onze tokenizer consistent beter presteert dan standaard tokenizers in zes representatieve generatieve modellen. Onze bevindingen benadrukken denoising als een fundamenteel ontwerpprincipe voor de ontwikkeling van tokenizers, en we hopen dat dit nieuwe perspectieven kan inspireren voor toekomstige tokenizer-ontwerpen.

English

Despite their fundamental role, it remains unclear what properties could make visual tokenizers more effective for generative modeling. We observe that modern generative models share a conceptually similar training objective -- reconstructing clean signals from corrupted inputs such as Gaussian noise or masking -- a process we term denoising. Motivated by this insight, we propose aligning tokenizer embeddings directly with the downstream denoising objective, encouraging latent embeddings to be more easily reconstructed even when heavily corrupted. To achieve this, we introduce the Latent Denoising Tokenizer (l-DeTok), a simple yet effective tokenizer trained to reconstruct clean images from latent embeddings corrupted by interpolative noise and random masking. Extensive experiments on ImageNet 256x256 demonstrate that our tokenizer consistently outperforms standard tokenizers across six representative generative models. Our findings highlight denoising as a fundamental design principle for tokenizer development, and we hope it could motivate new perspectives for future tokenizer design.