Image Tokenizer heeft post-training nodig

Samenvatting

Recente beeldgeneratieve modellen vangen de beeldverdeling typisch op in een vooraf geconstrueerde latente ruimte, waarbij ze vertrouwen op een bevroren beeldtokenizer. Er bestaat echter een aanzienlijk verschil tussen de reconstructie- en generatieverdeling, waarbij huidige tokenizers alleen prioriteit geven aan de reconstructietaak die plaatsvindt vóór de generatieve training, zonder rekening te houden met de generatiefouten tijdens het bemonsteren. In dit artikel analyseren we uitgebreid de reden voor dit verschil in een discrete latente ruimte, en stellen we op basis daarvan een nieuw tokenizer-trainingsschema voor, bestaande uit zowel hoofdtraining als nabehandeling, gericht op het verbeteren van de latente ruimte constructie en decodering respectievelijk. Tijdens de hoofdtraining wordt een latente verstoringsstrategie voorgesteld om bemonsteringsruis te simuleren, \ie, de onverwachte tokens die worden gegenereerd tijdens generatieve inferentie. Specifiek stellen we een plug-and-play tokenizer-trainingsschema voor, dat de robuustheid van de tokenizer aanzienlijk verbetert, waardoor de generatiekwaliteit en convergentiesnelheid worden verbeterd, en een nieuwe tokenizer-evaluatiemetriek, \ie, pFID, die de prestaties van de tokenizer succesvol correleert aan de generatiekwaliteit. Tijdens de nabehandeling optimaliseren we de tokenizer-decoder verder met betrekking tot een goed getraind generatief model om het verschil in verdeling tussen gegenereerde en gereconstrueerde tokens te verminderen. Met een sim400M-generator behaalt een discrete tokenizer die is getraind met onze voorgestelde hoofdtraining een opmerkelijke 1.60 gFID en behaalt verder 1.36 gFID met de aanvullende nabehandeling. Verdere experimenten worden uitgevoerd om de effectiviteit van onze nabehandelingsstrategie breed te valideren op kant-en-klare discrete en continue tokenizers, gekoppeld aan autoregressieve en diffusiegebaseerde generatoren.

English

Recent image generative models typically capture the image distribution in a pre-constructed latent space, relying on a frozen image tokenizer. However, there exists a significant discrepancy between the reconstruction and generation distribution, where current tokenizers only prioritize the reconstruction task that happens before generative training without considering the generation errors during sampling. In this paper, we comprehensively analyze the reason for this discrepancy in a discrete latent space, and, from which, we propose a novel tokenizer training scheme including both main-training and post-training, focusing on improving latent space construction and decoding respectively. During the main training, a latent perturbation strategy is proposed to simulate sampling noises, \ie, the unexpected tokens generated in generative inference. Specifically, we propose a plug-and-play tokenizer training scheme, which significantly enhances the robustness of tokenizer, thus boosting the generation quality and convergence speed, and a novel tokenizer evaluation metric, \ie, pFID, which successfully correlates the tokenizer performance to generation quality. During post-training, we further optimize the tokenizer decoder regarding a well-trained generative model to mitigate the distribution difference between generated and reconstructed tokens. With a sim400M generator, a discrete tokenizer trained with our proposed main training achieves a notable 1.60 gFID and further obtains 1.36 gFID with the additional post-training. Further experiments are conducted to broadly validate the effectiveness of our post-training strategy on off-the-shelf discrete and continuous tokenizers, coupled with autoregressive and diffusion-based generators.

Image Tokenizer heeft post-training nodig

Image Tokenizer Needs Post-Training

Samenvatting

Support