FreeU: 拡散U-Netにおけるフリーランチ

要旨

本論文では、拡散U-Netの未開拓の可能性を明らかにし、生成品質を大幅に向上させる「フリーランチ」としての役割を探求します。まず、U-Netアーキテクチャがノイズ除去プロセスにどのように寄与しているかを調査し、その主なバックボーンが主にノイズ除去に寄与している一方で、スキップ接続はデコーダモジュールに高周波特徴を導入し、ネットワークがバックボーンの意味論を見落とす原因となっていることを特定しました。この発見を活かし、追加のトレーニングやファインチューニングを必要とせずに生成品質を向上させるシンプルで効果的な手法「FreeU」を提案します。私たちの重要な洞察は、U-Netのスキップ接続とバックボーンの特徴マップからの寄与を戦略的に再重み付けし、U-Netアーキテクチャの両コンポーネントの強みを活用することです。画像および動画生成タスクでの有望な結果は、FreeUが既存の拡散モデル（例：Stable Diffusion、DreamBooth、ModelScope、Rerender、ReVersion）に容易に統合でき、わずか数行のコードで生成品質を向上できることを示しています。必要なのは、推論中に2つのスケーリング係数を調整することだけです。プロジェクトページ：https://chenyangsi.top/FreeU/。

English

In this paper, we uncover the untapped potential of diffusion U-Net, which serves as a "free lunch" that substantially improves the generation quality on the fly. We initially investigate the key contributions of the U-Net architecture to the denoising process and identify that its main backbone primarily contributes to denoising, whereas its skip connections mainly introduce high-frequency features into the decoder module, causing the network to overlook the backbone semantics. Capitalizing on this discovery, we propose a simple yet effective method-termed "FreeU" - that enhances generation quality without additional training or finetuning. Our key insight is to strategically re-weight the contributions sourced from the U-Net's skip connections and backbone feature maps, to leverage the strengths of both components of the U-Net architecture. Promising results on image and video generation tasks demonstrate that our FreeU can be readily integrated to existing diffusion models, e.g., Stable Diffusion, DreamBooth, ModelScope, Rerender and ReVersion, to improve the generation quality with only a few lines of code. All you need is to adjust two scaling factors during inference. Project page: https://chenyangsi.top/FreeU/.

FreeU: 拡散U-Netにおけるフリーランチ

FreeU: Free Lunch in Diffusion U-Net

要旨

Support