UniFL: Verbeter Stable Diffusion via Geünificeerd Feedback Leren

UniFL: Improve Stable Diffusion via Unified Feedback Learning

April 8, 2024

Auteurs: Jiacheng Zhang, Jie Wu, Yuxi Ren, Xin Xia, Huafeng Kuang, Pan Xie, Jiashi Li, Xuefeng Xiao, Weilin Huang, Min Zheng, Lean Fu, Guanbin Li

cs.AI

Samenvatting

Diffusiemodellen hebben een revolutie teweeggebracht op het gebied van beeldgeneratie, wat heeft geleid tot een toename van hoogwaardige modellen en diverse downstreamtoepassingen. Desondanks kampen de huidige competitieve oplossingen nog steeds met verschillende beperkingen, waaronder inferieure visuele kwaliteit, een gebrek aan esthetische aantrekkingskracht en inefficiënte inferentie, zonder dat er een alomvattende oplossing in zicht is. Om deze uitdagingen aan te pakken, presenteren we UniFL, een uniform raamwerk dat feedbackleren benut om diffusiemodellen op een alomvattende manier te verbeteren. UniFL onderscheidt zich als een universele, effectieve en generaliseerbare oplossing die toepasbaar is op verschillende diffusiemodellen, zoals SD1.5 en SDXL. UniFL omvat drie belangrijke componenten: perceptueel feedbackleren, dat de visuele kwaliteit verbetert; ontkoppeld feedbackleren, dat de esthetische aantrekkingskracht vergroot; en adversarieel feedbackleren, dat de inferentiesnelheid optimaliseert. Diepgaande experimenten en uitgebreide gebruikersstudies valideren de superieure prestaties van onze voorgestelde methode in het verbeteren van zowel de kwaliteit van gegenereerde modellen als hun versnelling. UniFL overtreft bijvoorbeeld ImageReward met 17% gebruikersvoorkeur wat betreft generatiekwaliteit en presteert beter dan LCM en SDXL Turbo met respectievelijk 57% en 20% in 4-staps inferentie. Bovendien hebben we de effectiviteit van onze aanpak geverifieerd in downstreamtaken, waaronder Lora, ControlNet en AnimateDiff.

English

Diffusion models have revolutionized the field of image generation, leading to the proliferation of high-quality models and diverse downstream applications. However, despite these significant advancements, the current competitive solutions still suffer from several limitations, including inferior visual quality, a lack of aesthetic appeal, and inefficient inference, without a comprehensive solution in sight. To address these challenges, we present UniFL, a unified framework that leverages feedback learning to enhance diffusion models comprehensively. UniFL stands out as a universal, effective, and generalizable solution applicable to various diffusion models, such as SD1.5 and SDXL. Notably, UniFL incorporates three key components: perceptual feedback learning, which enhances visual quality; decoupled feedback learning, which improves aesthetic appeal; and adversarial feedback learning, which optimizes inference speed. In-depth experiments and extensive user studies validate the superior performance of our proposed method in enhancing both the quality of generated models and their acceleration. For instance, UniFL surpasses ImageReward by 17% user preference in terms of generation quality and outperforms LCM and SDXL Turbo by 57% and 20% in 4-step inference. Moreover, we have verified the efficacy of our approach in downstream tasks, including Lora, ControlNet, and AnimateDiff.