O Tokenizador de Imagens Requer Pós-Treinamento

Resumo

Modelos generativos de imagem recentes normalmente capturam a distribuição de imagens em um espaço latente pré-construído, dependendo de um tokenizador de imagem congelado. No entanto, existe uma discrepância significativa entre a distribuição de reconstrução e a distribuição de geração, onde os tokenizadores atuais priorizam apenas a tarefa de reconstrução que ocorre antes do treinamento generativo, sem considerar os erros de geração durante a amostragem. Neste artigo, analisamos de forma abrangente a razão dessa discrepância em um espaço latente discreto e, a partir disso, propomos um novo esquema de treinamento de tokenizador que inclui tanto o treinamento principal quanto o pós-treinamento, focando na melhoria da construção do espaço latente e na decodificação, respectivamente. Durante o treinamento principal, uma estratégia de perturbação latente é proposta para simular ruídos de amostragem, ou seja, os tokens inesperados gerados na inferência generativa. Especificamente, propomos um esquema de treinamento de tokenizador plug-and-play, que melhora significativamente a robustez do tokenizador, aumentando assim a qualidade da geração e a velocidade de convergência, e uma nova métrica de avaliação de tokenizador, ou seja, pFID, que correlaciona com sucesso o desempenho do tokenizador com a qualidade da geração. Durante o pós-treinamento, otimizamos ainda mais o decodificador do tokenizador em relação a um modelo generativo bem treinado para mitigar a diferença de distribuição entre os tokens gerados e reconstruídos. Com um gerador sim400M, um tokenizador discreto treinado com nosso treinamento principal proposto alcança um notável 1,60 gFID e obtém ainda 1,36 gFID com o pós-treinamento adicional. Mais experimentos são conduzidos para validar amplamente a eficácia de nossa estratégia de pós-treinamento em tokenizadores discretos e contínuos prontos para uso, acoplados a geradores baseados em autoregressão e difusão.

English

Recent image generative models typically capture the image distribution in a pre-constructed latent space, relying on a frozen image tokenizer. However, there exists a significant discrepancy between the reconstruction and generation distribution, where current tokenizers only prioritize the reconstruction task that happens before generative training without considering the generation errors during sampling. In this paper, we comprehensively analyze the reason for this discrepancy in a discrete latent space, and, from which, we propose a novel tokenizer training scheme including both main-training and post-training, focusing on improving latent space construction and decoding respectively. During the main training, a latent perturbation strategy is proposed to simulate sampling noises, \ie, the unexpected tokens generated in generative inference. Specifically, we propose a plug-and-play tokenizer training scheme, which significantly enhances the robustness of tokenizer, thus boosting the generation quality and convergence speed, and a novel tokenizer evaluation metric, \ie, pFID, which successfully correlates the tokenizer performance to generation quality. During post-training, we further optimize the tokenizer decoder regarding a well-trained generative model to mitigate the distribution difference between generated and reconstructed tokens. With a sim400M generator, a discrete tokenizer trained with our proposed main training achieves a notable 1.60 gFID and further obtains 1.36 gFID with the additional post-training. Further experiments are conducted to broadly validate the effectiveness of our post-training strategy on off-the-shelf discrete and continuous tokenizers, coupled with autoregressive and diffusion-based generators.

O Tokenizador de Imagens Requer Pós-Treinamento

Image Tokenizer Needs Post-Training

Resumo

Support