Посттренировка латентных моделей диффузии в пространстве пикселей

Pixel-Space Post-Training of Latent Diffusion Models

September 26, 2024

Авторы: Christina Zhang, Simran Motwani, Matthew Yu, Ji Hou, Felix Juefei-Xu, Sam Tsai, Peter Vajda, Zijian He, Jialiang Wang

cs.AI

Аннотация

Латентные модели диффузии (LDM) в последние годы сделали значительные прорывы в области генерации изображений. Одним из основных преимуществ LDM является их способность работать в сжатом латентном пространстве, что позволяет более эффективно обучать и применять модели. Однако несмотря на эти преимущества, остаются некоторые проблемы с LDM. Например, наблюдается, что LDM часто несовершенно генерируют детали высокой частоты и сложные композиции. Мы предполагаем, что одной из причин этих недостатков является то, что вся предварительная и последующая настройка LDM выполняется в латентном пространстве, которое обычно имеет разрешение в 8 раз меньше, чем выходные изображения. Для решения этой проблемы мы предлагаем добавить наблюдение в пространстве пикселей в процесс последующей настройки для лучшего сохранения деталей высокой частоты. В экспериментах мы показываем, что добавление целевого пиксельного пространства значительно улучшает как качество тонкой настройки под наблюдением, так и последующую настройку на основе предпочтений с большим отрывом на современных моделях трансформера DiT и диффузионных моделях U-Net как по визуальным метрикам качества, так и визуальным метрикам дефектов, сохраняя при этом ту же качество выравнивания текста.

English

Latent diffusion models (LDMs) have made significant advancements in the field of image generation in recent years. One major advantage of LDMs is their ability to operate in a compressed latent space, allowing for more efficient training and deployment. However, despite these advantages, challenges with LDMs still remain. For example, it has been observed that LDMs often generate high-frequency details and complex compositions imperfectly. We hypothesize that one reason for these flaws is due to the fact that all pre- and post-training of LDMs are done in latent space, which is typically 8 times 8 lower spatial-resolution than the output images. To address this issue, we propose adding pixel-space supervision in the post-training process to better preserve high-frequency details. Experimentally, we show that adding a pixel-space objective significantly improves both supervised quality fine-tuning and preference-based post-training by a large margin on a state-of-the-art DiT transformer and U-Net diffusion models in both visual quality and visual flaw metrics, while maintaining the same text alignment quality.