Il Tokenizer di Immagini Richiede un Post-Addestramento

Abstract

I recenti modelli generativi di immagini catturano tipicamente la distribuzione delle immagini in uno spazio latente pre-costruito, basandosi su un tokenizer di immagini congelato. Tuttavia, esiste una discrepanza significativa tra la distribuzione di ricostruzione e quella di generazione, in cui gli attuali tokenizer si concentrano solo sul compito di ricostruzione che avviene prima dell'addestramento generativo, senza considerare gli errori di generazione durante il campionamento. In questo articolo, analizziamo in modo completo la ragione di questa discrepanza in uno spazio latente discreto e, da ciò, proponiamo un nuovo schema di addestramento del tokenizer che include sia l'addestramento principale che quello posteriore, concentrandosi rispettivamente sul miglioramento della costruzione dello spazio latente e del decoding. Durante l'addestramento principale, viene proposta una strategia di perturbazione latente per simulare i rumori di campionamento, ovvero i token inaspettati generati durante l'inferenza generativa. Nello specifico, proponiamo uno schema di addestramento del tokenizer plug-and-play, che migliora significativamente la robustezza del tokenizer, aumentando così la qualità della generazione e la velocità di convergenza, e una nuova metrica di valutazione del tokenizer, ovvero pFID, che correla con successo le prestazioni del tokenizer alla qualità della generazione. Durante l'addestramento posteriore, ottimizziamo ulteriormente il decoder del tokenizer rispetto a un modello generativo ben addestrato per mitigare la differenza di distribuzione tra i token generati e quelli ricostruiti. Con un generatore sim400M, un tokenizer discreto addestrato con il nostro schema di addestramento principale raggiunge un notevole 1.60 gFID e ottiene ulteriormente 1.36 gFID con l'addestramento posteriore aggiuntivo. Ulteriori esperimenti sono stati condotti per validare ampiamente l'efficacia della nostra strategia di addestramento posteriore su tokenizer discreti e continuti disponibili sul mercato, accoppiati con generatori autoregressivi e basati su diffusione.

English

Recent image generative models typically capture the image distribution in a pre-constructed latent space, relying on a frozen image tokenizer. However, there exists a significant discrepancy between the reconstruction and generation distribution, where current tokenizers only prioritize the reconstruction task that happens before generative training without considering the generation errors during sampling. In this paper, we comprehensively analyze the reason for this discrepancy in a discrete latent space, and, from which, we propose a novel tokenizer training scheme including both main-training and post-training, focusing on improving latent space construction and decoding respectively. During the main training, a latent perturbation strategy is proposed to simulate sampling noises, \ie, the unexpected tokens generated in generative inference. Specifically, we propose a plug-and-play tokenizer training scheme, which significantly enhances the robustness of tokenizer, thus boosting the generation quality and convergence speed, and a novel tokenizer evaluation metric, \ie, pFID, which successfully correlates the tokenizer performance to generation quality. During post-training, we further optimize the tokenizer decoder regarding a well-trained generative model to mitigate the distribution difference between generated and reconstructed tokens. With a sim400M generator, a discrete tokenizer trained with our proposed main training achieves a notable 1.60 gFID and further obtains 1.36 gFID with the additional post-training. Further experiments are conducted to broadly validate the effectiveness of our post-training strategy on off-the-shelf discrete and continuous tokenizers, coupled with autoregressive and diffusion-based generators.

Il Tokenizer di Immagini Richiede un Post-Addestramento

Image Tokenizer Needs Post-Training

Abstract

Support