El desenmascaramiento latente crea buenos tokenizadores visuales

Latent Denoising Makes Good Visual Tokenizers

July 21, 2025

Autores: Jiawei Yang, Tianhong Li, Lijie Fan, Yonglong Tian, Yue Wang

cs.AI

Resumen

A pesar de su papel fundamental, sigue sin estar claro qué propiedades podrían hacer que los tokenizadores visuales sean más efectivos para el modelado generativo. Observamos que los modelos generativos modernos comparten un objetivo de entrenamiento conceptualmente similar: reconstruir señales limpias a partir de entradas corrompidas, como ruido gaussiano o enmascaramiento, un proceso que denominamos desruido. Motivados por esta idea, proponemos alinear directamente los embeddings del tokenizador con el objetivo de desruido en la etapa posterior, fomentando que los embeddings latentes sean más fácilmente reconstruibles incluso cuando estén fuertemente corrompidos. Para lograrlo, presentamos el Tokenizador de Desruido Latente (l-DeTok), un tokenizador simple pero efectivo entrenado para reconstruir imágenes limpias a partir de embeddings latentes corrompidos por ruido interpolativo y enmascaramiento aleatorio. Experimentos exhaustivos en ImageNet 256x256 demuestran que nuestro tokenizador supera consistentemente a los tokenizadores estándar en seis modelos generativos representativos. Nuestros hallazgos destacan el desruido como un principio fundamental de diseño para el desarrollo de tokenizadores, y esperamos que pueda motivar nuevas perspectivas para el diseño futuro de tokenizadores.

English

Despite their fundamental role, it remains unclear what properties could make visual tokenizers more effective for generative modeling. We observe that modern generative models share a conceptually similar training objective -- reconstructing clean signals from corrupted inputs such as Gaussian noise or masking -- a process we term denoising. Motivated by this insight, we propose aligning tokenizer embeddings directly with the downstream denoising objective, encouraging latent embeddings to be more easily reconstructed even when heavily corrupted. To achieve this, we introduce the Latent Denoising Tokenizer (l-DeTok), a simple yet effective tokenizer trained to reconstruct clean images from latent embeddings corrupted by interpolative noise and random masking. Extensive experiments on ImageNet 256x256 demonstrate that our tokenizer consistently outperforms standard tokenizers across six representative generative models. Our findings highlight denoising as a fundamental design principle for tokenizer development, and we hope it could motivate new perspectives for future tokenizer design.