Post-entrenamiento en el espacio de píxeles de modelos de difusión latente

Pixel-Space Post-Training of Latent Diffusion Models

September 26, 2024

Autores: Christina Zhang, Simran Motwani, Matthew Yu, Ji Hou, Felix Juefei-Xu, Sam Tsai, Peter Vajda, Zijian He, Jialiang Wang

cs.AI

Resumen

Los modelos de difusión latente (LDMs) han logrado avances significativos en el campo de la generación de imágenes en los últimos años. Una ventaja importante de los LDMs es su capacidad para operar en un espacio latente comprimido, lo que permite un entrenamiento y despliegue más eficientes. Sin embargo, a pesar de estas ventajas, aún persisten desafíos con los LDMs. Por ejemplo, se ha observado que los LDMs a menudo generan detalles de alta frecuencia y composiciones complejas de manera imperfecta. Hipotetizamos que una razón de estas deficiencias se debe a que todo el pre y post-entrenamiento de los LDMs se realiza en el espacio latente, que suele tener una resolución espacial 8 veces menor que las imágenes de salida. Para abordar este problema, proponemos agregar supervisión en el espacio de píxeles en el proceso de post-entrenamiento para preservar mejor los detalles de alta frecuencia. Experimentalmente, demostramos que agregar un objetivo en el espacio de píxeles mejora significativamente tanto la calidad supervisada del ajuste fino como el post-entrenamiento basado en preferencias en un amplio margen en modelos de transformadores DiT y difusión U-Net de última generación, tanto en calidad visual como en métricas de defectos visuales, manteniendo al mismo tiempo la misma calidad de alineación de texto.

English

Latent diffusion models (LDMs) have made significant advancements in the field of image generation in recent years. One major advantage of LDMs is their ability to operate in a compressed latent space, allowing for more efficient training and deployment. However, despite these advantages, challenges with LDMs still remain. For example, it has been observed that LDMs often generate high-frequency details and complex compositions imperfectly. We hypothesize that one reason for these flaws is due to the fact that all pre- and post-training of LDMs are done in latent space, which is typically 8 times 8 lower spatial-resolution than the output images. To address this issue, we propose adding pixel-space supervision in the post-training process to better preserve high-frequency details. Experimentally, we show that adding a pixel-space objective significantly improves both supervised quality fine-tuning and preference-based post-training by a large margin on a state-of-the-art DiT transformer and U-Net diffusion models in both visual quality and visual flaw metrics, while maintaining the same text alignment quality.