Entraînement post-image de l'espace latent des modèles de diffusion.

Pixel-Space Post-Training of Latent Diffusion Models

September 26, 2024

Auteurs: Christina Zhang, Simran Motwani, Matthew Yu, Ji Hou, Felix Juefei-Xu, Sam Tsai, Peter Vajda, Zijian He, Jialiang Wang

cs.AI

Résumé

Les modèles de diffusion latente (MDL) ont réalisé des avancées significatives dans le domaine de la génération d'images ces dernières années. Un avantage majeur des MDL est leur capacité à fonctionner dans un espace latent compressé, permettant une formation et un déploiement plus efficaces. Cependant, malgré ces avantages, des défis subsistent avec les MDL. Par exemple, il a été observé que les MDL génèrent souvent des détails haute fréquence et des compositions complexes de manière imparfaite. Nous émettons l'hypothèse qu'une raison de ces défauts est le fait que toute la pré- et post-formation des MDL est réalisée dans l'espace latent, qui est généralement 8 fois 8 de résolution spatiale inférieure aux images de sortie. Pour résoudre ce problème, nous proposons d'ajouter une supervision dans l'espace des pixels dans le processus de post-formation pour mieux préserver les détails haute fréquence. Expérimentalement, nous montrons qu'ajouter un objectif dans l'espace des pixels améliore significativement à la fois la qualité de l'ajustement fin supervisé et la post-formation basée sur les préférences de manière importante sur un modèle de diffusion DiT et U-Net de pointe, tant en termes de qualité visuelle que de métriques de défauts visuels, tout en maintenant la même qualité d'alignement du texte.

English

Latent diffusion models (LDMs) have made significant advancements in the field of image generation in recent years. One major advantage of LDMs is their ability to operate in a compressed latent space, allowing for more efficient training and deployment. However, despite these advantages, challenges with LDMs still remain. For example, it has been observed that LDMs often generate high-frequency details and complex compositions imperfectly. We hypothesize that one reason for these flaws is due to the fact that all pre- and post-training of LDMs are done in latent space, which is typically 8 times 8 lower spatial-resolution than the output images. To address this issue, we propose adding pixel-space supervision in the post-training process to better preserve high-frequency details. Experimentally, we show that adding a pixel-space objective significantly improves both supervised quality fine-tuning and preference-based post-training by a large margin on a state-of-the-art DiT transformer and U-Net diffusion models in both visual quality and visual flaw metrics, while maintaining the same text alignment quality.