UniFL: Verbesserung der stabilen Diffusion durch vereinheitlichtes Feedback-Lernen

UniFL: Improve Stable Diffusion via Unified Feedback Learning

April 8, 2024

Autoren: Jiacheng Zhang, Jie Wu, Yuxi Ren, Xin Xia, Huafeng Kuang, Pan Xie, Jiashi Li, Xuefeng Xiao, Weilin Huang, Min Zheng, Lean Fu, Guanbin Li

cs.AI

Zusammenfassung

Diffusionsmodelle haben das Gebiet der Bildgenerierung revolutioniert und zu einer Verbreitung hochwertiger Modelle und vielfältiger nachgelagerter Anwendungen geführt. Trotz dieser signifikanten Fortschritte leiden die aktuellen Wettbewerbslösungen jedoch immer noch unter mehreren Einschränkungen, darunter minderwertige visuelle Qualität, mangelnde ästhetische Anziehungskraft und ineffiziente Inferenz, ohne dass eine umfassende Lösung in Sicht ist. Um diesen Herausforderungen zu begegnen, präsentieren wir UniFL, ein vereinheitlichtes Framework, das auf Feedback-Lernen setzt, um Diffusionsmodelle umfassend zu verbessern. UniFL zeichnet sich als universelle, effektive und verallgemeinerbare Lösung aus, die auf verschiedene Diffusionsmodelle wie SD1.5 und SDXL anwendbar ist. Besonders hervorzuheben ist, dass UniFL drei Schlüsselkomponenten integriert: perzeptives Feedback-Lernen, das die visuelle Qualität verbessert; entkoppeltes Feedback-Lernen, das die ästhetische Anziehungskraft steigert; und adversatives Feedback-Lernen, das die Inferenzgeschwindigkeit optimiert. Tiefgreifende Experimente und umfangreiche Benutzerstudien bestätigen die überragende Leistung unserer vorgeschlagenen Methode bei der Verbesserung sowohl der Qualität der generierten Modelle als auch ihrer Beschleunigung. Zum Beispiel übertrifft UniFL ImageReward um 17 % in Bezug auf die Nutzerpräferenz hinsichtlich der Generierungsqualität und übertrifft LCM und SDXL Turbo um 57 % bzw. 20 % bei einer 4-stufigen Inferenz. Darüber hinaus haben wir die Wirksamkeit unseres Ansatzes in nachgelagerten Aufgaben wie Lora, ControlNet und AnimateDiff verifiziert.

English

Diffusion models have revolutionized the field of image generation, leading to the proliferation of high-quality models and diverse downstream applications. However, despite these significant advancements, the current competitive solutions still suffer from several limitations, including inferior visual quality, a lack of aesthetic appeal, and inefficient inference, without a comprehensive solution in sight. To address these challenges, we present UniFL, a unified framework that leverages feedback learning to enhance diffusion models comprehensively. UniFL stands out as a universal, effective, and generalizable solution applicable to various diffusion models, such as SD1.5 and SDXL. Notably, UniFL incorporates three key components: perceptual feedback learning, which enhances visual quality; decoupled feedback learning, which improves aesthetic appeal; and adversarial feedback learning, which optimizes inference speed. In-depth experiments and extensive user studies validate the superior performance of our proposed method in enhancing both the quality of generated models and their acceleration. For instance, UniFL surpasses ImageReward by 17% user preference in terms of generation quality and outperforms LCM and SDXL Turbo by 57% and 20% in 4-step inference. Moreover, we have verified the efficacy of our approach in downstream tasks, including Lora, ControlNet, and AnimateDiff.