Pixel-Raum Post-Training von Latenten Diffusionsmodellen

Pixel-Space Post-Training of Latent Diffusion Models

September 26, 2024

Autoren: Christina Zhang, Simran Motwani, Matthew Yu, Ji Hou, Felix Juefei-Xu, Sam Tsai, Peter Vajda, Zijian He, Jialiang Wang

cs.AI

Zusammenfassung

Latente Diffusionsmodelle (LDMs) haben in den letzten Jahren signifikante Fortschritte auf dem Gebiet der Bildgenerierung gemacht. Ein großer Vorteil von LDMs ist ihre Fähigkeit, in einem komprimierten latenten Raum zu arbeiten, was ein effizienteres Training und Deployment ermöglicht. Trotz dieser Vorteile bestehen jedoch nach wie vor Herausforderungen bei LDMs. Zum Beispiel wurde beobachtet, dass LDMs häufig hochfrequente Details und komplexe Kompositionen unvollkommen generieren. Wir vermuten, dass ein Grund für diese Mängel darin liegt, dass sowohl das Vor- als auch das Nachtraining von LDMs im latenten Raum durchgeführt werden, der in der Regel eine 8-mal 8 niedrigere räumliche Auflösung als die Ausgabebilder aufweist. Um dieses Problem anzugehen, schlagen wir vor, in den Nachschulungsprozess eine Pixelraumüberwachung hinzuzufügen, um hochfrequente Details besser zu erhalten. Experimentell zeigen wir, dass die Hinzufügung eines Pixelraumziels sowohl die Qualität des überwachten Feintunings als auch das präferenzbasierte Nachtraining in einem erheblichen Maße auf einem modernen DiT-Transformer und U-Net-Diffusionsmodellen in Bezug auf visuelle Qualität und visuelle Fehlermetriken verbessert, während die Textausrichtungsqualität gleichbleibend bleibt.

English

Latent diffusion models (LDMs) have made significant advancements in the field of image generation in recent years. One major advantage of LDMs is their ability to operate in a compressed latent space, allowing for more efficient training and deployment. However, despite these advantages, challenges with LDMs still remain. For example, it has been observed that LDMs often generate high-frequency details and complex compositions imperfectly. We hypothesize that one reason for these flaws is due to the fact that all pre- and post-training of LDMs are done in latent space, which is typically 8 times 8 lower spatial-resolution than the output images. To address this issue, we propose adding pixel-space supervision in the post-training process to better preserve high-frequency details. Experimentally, we show that adding a pixel-space objective significantly improves both supervised quality fine-tuning and preference-based post-training by a large margin on a state-of-the-art DiT transformer and U-Net diffusion models in both visual quality and visual flaw metrics, while maintaining the same text alignment quality.