FreeU: Comida gratis en la U-Net de Difusión

FreeU: Free Lunch in Diffusion U-Net

September 20, 2023

Autores: Chenyang Si, Ziqi Huang, Yuming Jiang, Ziwei Liu

cs.AI

Resumen

En este artículo, descubrimos el potencial no explotado de la U-Net de difusión, que sirve como un "beneficio gratuito" que mejora sustancialmente la calidad de generación sobre la marcha. Inicialmente, investigamos las contribuciones clave de la arquitectura U-Net al proceso de eliminación de ruido e identificamos que su columna vertebral principal contribuye principalmente a la eliminación de ruido, mientras que sus conexiones de salto introducen principalmente características de alta frecuencia en el módulo decodificador, lo que hace que la red pase por alto la semántica de la columna vertebral. Aprovechando este descubrimiento, proponemos un método simple pero efectivo, denominado "FreeU", que mejora la calidad de generación sin necesidad de entrenamiento adicional o ajuste fino. Nuestra idea clave es re-ponderar estratégicamente las contribuciones provenientes de las conexiones de salto y los mapas de características de la columna vertebral de la U-Net, para aprovechar las fortalezas de ambos componentes de la arquitectura U-Net. Los resultados prometedores en tareas de generación de imágenes y videos demuestran que nuestro FreeU puede integrarse fácilmente en modelos de difusión existentes, como Stable Diffusion, DreamBooth, ModelScope, Rerender y ReVersion, para mejorar la calidad de generación con solo unas pocas líneas de código. Todo lo que necesitas es ajustar dos factores de escala durante la inferencia. Página del proyecto: https://chenyangsi.top/FreeU/.

English

In this paper, we uncover the untapped potential of diffusion U-Net, which serves as a "free lunch" that substantially improves the generation quality on the fly. We initially investigate the key contributions of the U-Net architecture to the denoising process and identify that its main backbone primarily contributes to denoising, whereas its skip connections mainly introduce high-frequency features into the decoder module, causing the network to overlook the backbone semantics. Capitalizing on this discovery, we propose a simple yet effective method-termed "FreeU" - that enhances generation quality without additional training or finetuning. Our key insight is to strategically re-weight the contributions sourced from the U-Net's skip connections and backbone feature maps, to leverage the strengths of both components of the U-Net architecture. Promising results on image and video generation tasks demonstrate that our FreeU can be readily integrated to existing diffusion models, e.g., Stable Diffusion, DreamBooth, ModelScope, Rerender and ReVersion, to improve the generation quality with only a few lines of code. All you need is to adjust two scaling factors during inference. Project page: https://chenyangsi.top/FreeU/.