潜在空間におけるノイズ除去が優れた視覚的トークナイザーを実現する

要旨

視覚的トークナイザーの基本的な役割にもかかわらず、生成モデリングにおいてより効果的な特性が何であるかは依然として不明確です。我々は、現代の生成モデルが概念的に類似した訓練目標を共有していることに気づきました。それは、ガウシアンノイズやマスキングなどの破損した入力からクリーンな信号を再構築するというプロセスであり、我々はこれを「ノイズ除去」と呼びます。この洞察に基づき、我々はトークナイザーの埋め込みを直接下流のノイズ除去目標に整合させることを提案し、潜在埋め込みが重度に破損された場合でも容易に再構築されるよう促します。これを実現するために、我々はLatent Denoising Tokenizer（l-DeTok）を導入します。これは、補間ノイズとランダムマスキングによって破損された潜在埋め込みからクリーンな画像を再構築するように訓練された、シンプルでありながら効果的なトークナイザーです。ImageNet 256x256での広範な実験により、我々のトークナイザーが6つの代表的な生成モデルにおいて標準的なトークナイザーを一貫して上回ることが示されました。我々の発見は、ノイズ除去をトークナイザー開発の基本的な設計原則として強調し、今後のトークナイザー設計に新たな視点を提供することを期待しています。

English

Despite their fundamental role, it remains unclear what properties could make visual tokenizers more effective for generative modeling. We observe that modern generative models share a conceptually similar training objective -- reconstructing clean signals from corrupted inputs such as Gaussian noise or masking -- a process we term denoising. Motivated by this insight, we propose aligning tokenizer embeddings directly with the downstream denoising objective, encouraging latent embeddings to be more easily reconstructed even when heavily corrupted. To achieve this, we introduce the Latent Denoising Tokenizer (l-DeTok), a simple yet effective tokenizer trained to reconstruct clean images from latent embeddings corrupted by interpolative noise and random masking. Extensive experiments on ImageNet 256x256 demonstrate that our tokenizer consistently outperforms standard tokenizers across six representative generative models. Our findings highlight denoising as a fundamental design principle for tokenizer development, and we hope it could motivate new perspectives for future tokenizer design.

潜在空間におけるノイズ除去が優れた視覚的トークナイザーを実現する

Latent Denoising Makes Good Visual Tokenizers

要旨

Support