Pixelruimte Post-Training van Latente Diffusiemodellen

Pixel-Space Post-Training of Latent Diffusion Models

September 26, 2024

Auteurs: Christina Zhang, Simran Motwani, Matthew Yu, Ji Hou, Felix Juefei-Xu, Sam Tsai, Peter Vajda, Zijian He, Jialiang Wang

cs.AI

Samenvatting

Latente diffusiemodellen (LDM's) hebben de afgelopen jaren aanzienlijke vooruitgang geboekt op het gebied van beeldgeneratie. Een belangrijk voordeel van LDM's is hun vermogen om te werken in een gecomprimeerde latente ruimte, wat zorgt voor efficiëntere training en implementatie. Ondanks deze voordelen blijven er echter uitdagingen bestaan bij LDM's. Zo is waargenomen dat LDM's vaak hoogfrequente details en complexe composities onvolmaakt genereren. We veronderstellen dat een reden voor deze tekortkomingen is dat al het voor- en na-trainen van LDM's wordt uitgevoerd in de latente ruimte, die doorgaans 8 keer 8 lagere ruimtelijke resolutie heeft dan de uitvoerbeelden. Om dit probleem aan te pakken, stellen we voor om pixelruimte supervisie toe te voegen in het na-trainingsproces om hoogfrequente details beter te behouden. Experimenteel tonen we aan dat het toevoegen van een pixelruimte objectief aanzienlijk zowel de kwaliteit van supervisie fine-tuning als voorkeursgebaseerde na-training verbetert met een grote marge op een toonaangevend DiT-transformator- en U-Net-diffusiemodellen, zowel in visuele kwaliteit als visuele foutmetrieken, terwijl de kwaliteit van de tekstuitlijning gelijk blijft.

English

Latent diffusion models (LDMs) have made significant advancements in the field of image generation in recent years. One major advantage of LDMs is their ability to operate in a compressed latent space, allowing for more efficient training and deployment. However, despite these advantages, challenges with LDMs still remain. For example, it has been observed that LDMs often generate high-frequency details and complex compositions imperfectly. We hypothesize that one reason for these flaws is due to the fact that all pre- and post-training of LDMs are done in latent space, which is typically 8 times 8 lower spatial-resolution than the output images. To address this issue, we propose adding pixel-space supervision in the post-training process to better preserve high-frequency details. Experimentally, we show that adding a pixel-space objective significantly improves both supervised quality fine-tuning and preference-based post-training by a large margin on a state-of-the-art DiT transformer and U-Net diffusion models in both visual quality and visual flaw metrics, while maintaining the same text alignment quality.