UniFL: Mejora de Stable Diffusion mediante Aprendizaje Unificado por Retroalimentación

UniFL: Improve Stable Diffusion via Unified Feedback Learning

April 8, 2024

Autores: Jiacheng Zhang, Jie Wu, Yuxi Ren, Xin Xia, Huafeng Kuang, Pan Xie, Jiashi Li, Xuefeng Xiao, Weilin Huang, Min Zheng, Lean Fu, Guanbin Li

cs.AI

Resumen

Los modelos de difusión han revolucionado el campo de la generación de imágenes, impulsando la proliferación de modelos de alta calidad y diversas aplicaciones derivadas. Sin embargo, a pesar de estos avances significativos, las soluciones competitivas actuales aún presentan varias limitaciones, como una calidad visual inferior, falta de atractivo estético e inferencia ineficiente, sin una solución integral a la vista. Para abordar estos desafíos, presentamos UniFL, un marco unificado que aprovecha el aprendizaje basado en retroalimentación para mejorar los modelos de difusión de manera integral. UniFL se destaca como una solución universal, efectiva y generalizable aplicable a diversos modelos de difusión, como SD1.5 y SDXL. En particular, UniFL incorpora tres componentes clave: aprendizaje de retroalimentación perceptual, que mejora la calidad visual; aprendizaje de retroalimentación desacoplado, que aumenta el atractivo estético; y aprendizaje de retroalimentación adversarial, que optimiza la velocidad de inferencia. Experimentos exhaustivos y estudios de usuarios extensos validan el rendimiento superior de nuestro método propuesto tanto en la mejora de la calidad de los modelos generados como en su aceleración. Por ejemplo, UniFL supera a ImageReward en un 17% en preferencia de usuarios en términos de calidad de generación y supera a LCM y SDXL Turbo en un 57% y 20%, respectivamente, en inferencia de 4 pasos. Además, hemos verificado la eficacia de nuestro enfoque en tareas derivadas, incluyendo Lora, ControlNet y AnimateDiff.

English

Diffusion models have revolutionized the field of image generation, leading to the proliferation of high-quality models and diverse downstream applications. However, despite these significant advancements, the current competitive solutions still suffer from several limitations, including inferior visual quality, a lack of aesthetic appeal, and inefficient inference, without a comprehensive solution in sight. To address these challenges, we present UniFL, a unified framework that leverages feedback learning to enhance diffusion models comprehensively. UniFL stands out as a universal, effective, and generalizable solution applicable to various diffusion models, such as SD1.5 and SDXL. Notably, UniFL incorporates three key components: perceptual feedback learning, which enhances visual quality; decoupled feedback learning, which improves aesthetic appeal; and adversarial feedback learning, which optimizes inference speed. In-depth experiments and extensive user studies validate the superior performance of our proposed method in enhancing both the quality of generated models and their acceleration. For instance, UniFL surpasses ImageReward by 17% user preference in terms of generation quality and outperforms LCM and SDXL Turbo by 57% and 20% in 4-step inference. Moreover, we have verified the efficacy of our approach in downstream tasks, including Lora, ControlNet, and AnimateDiff.