FreeU: Бесплатный обед в диффузионной U-Net

FreeU: Free Lunch in Diffusion U-Net

September 20, 2023

Авторы: Chenyang Si, Ziqi Huang, Yuming Jiang, Ziwei Liu

cs.AI

Аннотация

В данной работе мы раскрываем неиспользованный потенциал диффузионной U-Net, которая служит "бесплатным обедом", существенно улучшающим качество генерации на лету. Мы начинаем с исследования ключевого вклада архитектуры U-Net в процесс удаления шума и выявляем, что её основной каркас в первую очередь способствует дениойзингу, тогда как её пропускные соединения в основном вносят высокочастотные признаки в декодер, что заставляет сеть упускать семантику каркаса. Опираясь на это открытие, мы предлагаем простой, но эффективный метод, названный "FreeU", который повышает качество генерации без дополнительного обучения или тонкой настройки. Наше ключевое понимание заключается в стратегическом перевзвешивании вкладов, поступающих от пропускных соединений и карт признаков каркаса U-Net, чтобы использовать сильные стороны обеих компонент архитектуры U-Net. Обещающие результаты в задачах генерации изображений и видео демонстрируют, что наш FreeU может быть легко интегрирован в существующие диффузионные модели, такие как Stable Diffusion, DreamBooth, ModelScope, Rerender и ReVersion, для улучшения качества генерации всего несколькими строками кода. Всё, что вам нужно, — это настроить два масштабирующих коэффициента во время вывода. Страница проекта: https://chenyangsi.top/FreeU/.

English

In this paper, we uncover the untapped potential of diffusion U-Net, which serves as a "free lunch" that substantially improves the generation quality on the fly. We initially investigate the key contributions of the U-Net architecture to the denoising process and identify that its main backbone primarily contributes to denoising, whereas its skip connections mainly introduce high-frequency features into the decoder module, causing the network to overlook the backbone semantics. Capitalizing on this discovery, we propose a simple yet effective method-termed "FreeU" - that enhances generation quality without additional training or finetuning. Our key insight is to strategically re-weight the contributions sourced from the U-Net's skip connections and backbone feature maps, to leverage the strengths of both components of the U-Net architecture. Promising results on image and video generation tasks demonstrate that our FreeU can be readily integrated to existing diffusion models, e.g., Stable Diffusion, DreamBooth, ModelScope, Rerender and ReVersion, to improve the generation quality with only a few lines of code. All you need is to adjust two scaling factors during inference. Project page: https://chenyangsi.top/FreeU/.