El Tokenizador de Imágenes Requiere Post-Entrenamiento

Resumen

Los modelos generativos de imágenes recientes suelen capturar la distribución de imágenes en un espacio latente preconstruido, dependiendo de un tokenizador de imágenes congelado. Sin embargo, existe una discrepancia significativa entre la distribución de reconstrucción y la distribución de generación, donde los tokenizadores actuales solo priorizan la tarea de reconstrucción que ocurre antes del entrenamiento generativo, sin considerar los errores de generación durante el muestreo. En este artículo, analizamos exhaustivamente la razón de esta discrepancia en un espacio latente discreto y, a partir de ello, proponemos un novedoso esquema de entrenamiento de tokenizadores que incluye tanto el entrenamiento principal como el posentrenamiento, centrándose en mejorar la construcción del espacio latente y la decodificación, respectivamente. Durante el entrenamiento principal, se propone una estrategia de perturbación latente para simular ruidos de muestreo, es decir, los tokens inesperados generados en la inferencia generativa. Específicamente, proponemos un esquema de entrenamiento de tokenizadores plug-and-play, que mejora significativamente la robustez del tokenizador, aumentando así la calidad de generación y la velocidad de convergencia, y una nueva métrica de evaluación de tokenizadores, es decir, pFID, que correlaciona exitosamente el rendimiento del tokenizador con la calidad de generación. Durante el posentrenamiento, optimizamos aún más el decodificador del tokenizador en relación con un modelo generativo bien entrenado para mitigar la diferencia de distribución entre los tokens generados y los reconstruidos. Con un generador sim400M, un tokenizador discreto entrenado con nuestro esquema de entrenamiento principal alcanza un notable 1.60 gFID y obtiene un 1.36 gFID adicional con el posentrenamiento. Se realizan más experimentos para validar ampliamente la efectividad de nuestra estrategia de posentrenamiento en tokenizadores discretos y continuos disponibles, junto con generadores basados en autoregresión y difusión.

English

Recent image generative models typically capture the image distribution in a pre-constructed latent space, relying on a frozen image tokenizer. However, there exists a significant discrepancy between the reconstruction and generation distribution, where current tokenizers only prioritize the reconstruction task that happens before generative training without considering the generation errors during sampling. In this paper, we comprehensively analyze the reason for this discrepancy in a discrete latent space, and, from which, we propose a novel tokenizer training scheme including both main-training and post-training, focusing on improving latent space construction and decoding respectively. During the main training, a latent perturbation strategy is proposed to simulate sampling noises, \ie, the unexpected tokens generated in generative inference. Specifically, we propose a plug-and-play tokenizer training scheme, which significantly enhances the robustness of tokenizer, thus boosting the generation quality and convergence speed, and a novel tokenizer evaluation metric, \ie, pFID, which successfully correlates the tokenizer performance to generation quality. During post-training, we further optimize the tokenizer decoder regarding a well-trained generative model to mitigate the distribution difference between generated and reconstructed tokens. With a sim400M generator, a discrete tokenizer trained with our proposed main training achieves a notable 1.60 gFID and further obtains 1.36 gFID with the additional post-training. Further experiments are conducted to broadly validate the effectiveness of our post-training strategy on off-the-shelf discrete and continuous tokenizers, coupled with autoregressive and diffusion-based generators.

El Tokenizador de Imágenes Requiere Post-Entrenamiento

Image Tokenizer Needs Post-Training

Resumen

Support