Латентное шумоподавление создает качественные визуальные токенизаторы

Latent Denoising Makes Good Visual Tokenizers

July 21, 2025

Авторы: Jiawei Yang, Tianhong Li, Lijie Fan, Yonglong Tian, Yue Wang

cs.AI

Аннотация

Несмотря на их фундаментальную роль, остается неясным, какие свойства могут сделать визуальные токенизаторы более эффективными для задач генеративного моделирования. Мы отмечаем, что современные генеративные модели используют концептуально схожую цель обучения — восстановление чистых сигналов из искаженных входных данных, таких как гауссовский шум или маскирование, — процесс, который мы называем шумоподавлением. Руководствуясь этим наблюдением, мы предлагаем согласовать эмбеддинги токенизатора непосредственно с задачей шумоподавления, что способствует более легкому восстановлению латентных эмбеддингов даже при сильном искажении. Для достижения этой цели мы представляем Latent Denoising Tokenizer (l-DeTok) — простой, но эффективный токенизатор, обученный восстанавливать чистые изображения из латентных эмбеддингов, искаженных интерполяционным шумом и случайным маскированием. Многочисленные эксперименты на данных ImageNet 256x256 демонстрируют, что наш токенизатор стабильно превосходит стандартные токенизаторы в шести репрезентативных генеративных моделях. Наши результаты подчеркивают шумоподавление как фундаментальный принцип разработки токенизаторов, и мы надеемся, что это может вдохновить новые подходы к проектированию токенизаторов в будущем.

English

Despite their fundamental role, it remains unclear what properties could make visual tokenizers more effective for generative modeling. We observe that modern generative models share a conceptually similar training objective -- reconstructing clean signals from corrupted inputs such as Gaussian noise or masking -- a process we term denoising. Motivated by this insight, we propose aligning tokenizer embeddings directly with the downstream denoising objective, encouraging latent embeddings to be more easily reconstructed even when heavily corrupted. To achieve this, we introduce the Latent Denoising Tokenizer (l-DeTok), a simple yet effective tokenizer trained to reconstruct clean images from latent embeddings corrupted by interpolative noise and random masking. Extensive experiments on ImageNet 256x256 demonstrate that our tokenizer consistently outperforms standard tokenizers across six representative generative models. Our findings highlight denoising as a fundamental design principle for tokenizer development, and we hope it could motivate new perspectives for future tokenizer design.