La rimozione del rumore latente crea buoni tokenizzatori visivi

Latent Denoising Makes Good Visual Tokenizers

July 21, 2025

Autori: Jiawei Yang, Tianhong Li, Lijie Fan, Yonglong Tian, Yue Wang

cs.AI

Abstract

Nonostante il loro ruolo fondamentale, rimane poco chiaro quali proprietà potrebbero rendere i tokenizer visivi più efficaci per la modellazione generativa. Osserviamo che i moderni modelli generativi condividono un obiettivo di training concettualmente simile: ricostruire segnali puliti da input corrotti come rumore gaussiano o mascheramento -- un processo che definiamo denoising. Motivati da questa intuizione, proponiamo di allineare direttamente gli embedding del tokenizer con l'obiettivo di denoising downstream, incoraggiando gli embedding latenti a essere ricostruiti più facilmente anche quando fortemente corrotti. Per raggiungere questo obiettivo, introduciamo il Latent Denoising Tokenizer (l-DeTok), un tokenizer semplice ma efficace addestrato a ricostruire immagini pulite da embedding latenti corrotti da rumore interpolativo e mascheramento casuale. Esperimenti estensivi su ImageNet 256x256 dimostrano che il nostro tokenizer supera costantemente i tokenizer standard in sei modelli generativi rappresentativi. Le nostre scoperte evidenziano il denoising come un principio di progettazione fondamentale per lo sviluppo di tokenizer, e speriamo che possa ispirare nuove prospettive per il futuro design dei tokenizer.

English

Despite their fundamental role, it remains unclear what properties could make visual tokenizers more effective for generative modeling. We observe that modern generative models share a conceptually similar training objective -- reconstructing clean signals from corrupted inputs such as Gaussian noise or masking -- a process we term denoising. Motivated by this insight, we propose aligning tokenizer embeddings directly with the downstream denoising objective, encouraging latent embeddings to be more easily reconstructed even when heavily corrupted. To achieve this, we introduce the Latent Denoising Tokenizer (l-DeTok), a simple yet effective tokenizer trained to reconstruct clean images from latent embeddings corrupted by interpolative noise and random masking. Extensive experiments on ImageNet 256x256 demonstrate that our tokenizer consistently outperforms standard tokenizers across six representative generative models. Our findings highlight denoising as a fundamental design principle for tokenizer development, and we hope it could motivate new perspectives for future tokenizer design.