FreeU: Pranzo Gratuito nella Diffusione U-Net

FreeU: Free Lunch in Diffusion U-Net

September 20, 2023

Autori: Chenyang Si, Ziqi Huang, Yuming Jiang, Ziwei Liu

cs.AI

Abstract

In questo articolo, scopriamo il potenziale inesplorato della U-Net a diffusione, che funge da "pranzo gratuito" in grado di migliorare sostanzialmente la qualità della generazione al volo. Inizialmente, indaghiamo i contributi chiave dell'architettura U-Net al processo di denoising e identifichiamo che la sua struttura principale contribuisce principalmente al denoising, mentre le sue connessioni skip introducono principalmente caratteristiche ad alta frequenza nel modulo di decodifica, causando alla rete di trascurare la semantica della struttura principale. Sfruttando questa scoperta, proponiamo un metodo semplice ma efficace, denominato "FreeU", che migliora la qualità della generazione senza ulteriori addestramenti o fine-tuning. La nostra intuizione chiave è quella di ricalibrare strategicamente i contributi provenienti dalle connessioni skip e dalle mappe di caratteristiche della struttura principale della U-Net, per sfruttare i punti di forza di entrambi i componenti dell'architettura U-Net. Risultati promettenti nei compiti di generazione di immagini e video dimostrano che il nostro FreeU può essere facilmente integrato in modelli di diffusione esistenti, come Stable Diffusion, DreamBooth, ModelScope, Rerender e ReVersion, per migliorare la qualità della generazione con poche righe di codice. Tutto ciò che serve è regolare due fattori di scala durante l'inferenza. Pagina del progetto: https://chenyangsi.top/FreeU/.

English

In this paper, we uncover the untapped potential of diffusion U-Net, which serves as a "free lunch" that substantially improves the generation quality on the fly. We initially investigate the key contributions of the U-Net architecture to the denoising process and identify that its main backbone primarily contributes to denoising, whereas its skip connections mainly introduce high-frequency features into the decoder module, causing the network to overlook the backbone semantics. Capitalizing on this discovery, we propose a simple yet effective method-termed "FreeU" - that enhances generation quality without additional training or finetuning. Our key insight is to strategically re-weight the contributions sourced from the U-Net's skip connections and backbone feature maps, to leverage the strengths of both components of the U-Net architecture. Promising results on image and video generation tasks demonstrate that our FreeU can be readily integrated to existing diffusion models, e.g., Stable Diffusion, DreamBooth, ModelScope, Rerender and ReVersion, to improve the generation quality with only a few lines of code. All you need is to adjust two scaling factors during inference. Project page: https://chenyangsi.top/FreeU/.