Latentes Entrauschen schafft gute visuelle Tokenizer.

Latent Denoising Makes Good Visual Tokenizers

July 21, 2025

papers.authors: Jiawei Yang, Tianhong Li, Lijie Fan, Yonglong Tian, Yue Wang

cs.AI

papers.abstract

Trotz ihrer grundlegenden Rolle bleibt unklar, welche Eigenschaften visuelle Tokenizer effektiver für die generative Modellierung machen könnten. Wir beobachten, dass moderne generative Modelle ein konzeptionell ähnliches Trainingsziel teilen – die Rekonstruktion sauberer Signale aus verrauschten Eingaben wie Gaußschem Rauschen oder Maskierungen – einen Prozess, den wir als Entrauschen bezeichnen. Motiviert durch diese Erkenntnis schlagen wir vor, die Einbettungen des Tokenizers direkt mit dem nachgelagerten Entrauschungsziel abzustimmen, wodurch latente Einbettungen leichter rekonstruiert werden können, selbst wenn sie stark verrauscht sind. Um dies zu erreichen, führen wir den Latent Denoising Tokenizer (l-DeTok) ein, einen einfachen, aber effektiven Tokenizer, der darauf trainiert ist, saubere Bilder aus latenten Einbettungen zu rekonstruieren, die durch interpolatives Rauschen und zufällige Maskierung verrauscht wurden. Umfangreiche Experimente auf ImageNet 256x256 zeigen, dass unser Tokenizer durchweg Standard-Tokenizer in sechs repräsentativen generativen Modellen übertrifft. Unsere Ergebnisse unterstreichen das Entrauschen als grundlegendes Designprinzip für die Entwicklung von Tokenizern, und wir hoffen, dass es neue Perspektiven für zukünftige Tokenizer-Designs anregen könnte.

English

Despite their fundamental role, it remains unclear what properties could make visual tokenizers more effective for generative modeling. We observe that modern generative models share a conceptually similar training objective -- reconstructing clean signals from corrupted inputs such as Gaussian noise or masking -- a process we term denoising. Motivated by this insight, we propose aligning tokenizer embeddings directly with the downstream denoising objective, encouraging latent embeddings to be more easily reconstructed even when heavily corrupted. To achieve this, we introduce the Latent Denoising Tokenizer (l-DeTok), a simple yet effective tokenizer trained to reconstruct clean images from latent embeddings corrupted by interpolative noise and random masking. Extensive experiments on ImageNet 256x256 demonstrate that our tokenizer consistently outperforms standard tokenizers across six representative generative models. Our findings highlight denoising as a fundamental design principle for tokenizer development, and we hope it could motivate new perspectives for future tokenizer design.