UniFL: Улучшение стабильной диффузии с помощью единой обратной связи.

UniFL: Improve Stable Diffusion via Unified Feedback Learning

April 8, 2024

Авторы: Jiacheng Zhang, Jie Wu, Yuxi Ren, Xin Xia, Huafeng Kuang, Pan Xie, Jiashi Li, Xuefeng Xiao, Weilin Huang, Min Zheng, Lean Fu, Guanbin Li

cs.AI

Аннотация

Модели диффузии революционизировали область генерации изображений, приводя к появлению множества моделей высокого качества и разнообразных прикладных применений. Однако несмотря на значительные достижения, текущие конкурентные решения по-прежнему сталкиваются с несколькими ограничениями, включая низкое качество визуального представления, отсутствие эстетического привлекательности и неэффективность вывода, без четкого решения в виду. Для решения этих проблем мы представляем UniFL, унифицированную платформу, которая использует обратную связь для всестороннего улучшения моделей диффузии. UniFL выделяется как универсальное, эффективное и обобщенное решение, применимое к различным моделям диффузии, таким как SD1.5 и SDXL. Важно отметить, что UniFL включает три ключевых компонента: обучение с визуальной обратной связью, которое улучшает качество визуального представления; разделенное обучение с обратной связью, которое повышает эстетическую привлекательность; и адверсариальное обучение с обратной связью, которое оптимизирует скорость вывода. Глубокие эксперименты и обширные пользовательские исследования подтверждают превосходную производительность нашего предложенного метода в улучшении как качества сгенерированных моделей, так и их ускорения. Например, UniFL превосходит ImageReward на 17% в предпочтении пользователей по качеству генерации и превосходит LCM и SDXL Turbo на 57% и 20% в выводе на 4 шага. Более того, мы подтвердили эффективность нашего подхода в прикладных задачах, включая Lora, ControlNet и AnimateDiff.

English

Diffusion models have revolutionized the field of image generation, leading to the proliferation of high-quality models and diverse downstream applications. However, despite these significant advancements, the current competitive solutions still suffer from several limitations, including inferior visual quality, a lack of aesthetic appeal, and inefficient inference, without a comprehensive solution in sight. To address these challenges, we present UniFL, a unified framework that leverages feedback learning to enhance diffusion models comprehensively. UniFL stands out as a universal, effective, and generalizable solution applicable to various diffusion models, such as SD1.5 and SDXL. Notably, UniFL incorporates three key components: perceptual feedback learning, which enhances visual quality; decoupled feedback learning, which improves aesthetic appeal; and adversarial feedback learning, which optimizes inference speed. In-depth experiments and extensive user studies validate the superior performance of our proposed method in enhancing both the quality of generated models and their acceleration. For instance, UniFL surpasses ImageReward by 17% user preference in terms of generation quality and outperforms LCM and SDXL Turbo by 57% and 20% in 4-step inference. Moreover, we have verified the efficacy of our approach in downstream tasks, including Lora, ControlNet, and AnimateDiff.