FreeU: 확산 U-Net에서의 무료 점심

초록

본 논문에서 우리는 디퓨전 U-Net의 잠재력을 발굴하여, 생성 품질을 실시간으로 크게 향상시키는 "공짜 점심"으로서의 역할을 밝혀냈다. 우리는 먼저 U-Net 아키텍처가 디노이징 과정에 기여하는 핵심 요소를 조사하였고, 그 주요 백본이 주로 디노이징에 기여하는 반면, 스킵 연결은 주로 디코더 모듈에 고주파수 특성을 도입하여 네트워크가 백본의 의미를 간과하게 만든다는 사실을 확인하였다. 이러한 발견을 바탕으로, 우리는 추가적인 학습이나 미세 조정 없이도 생성 품질을 향상시키는 간단하면서도 효과적인 방법인 "FreeU"를 제안한다. 우리의 핵심 통찰은 U-Net의 스킵 연결과 백본 특징 맵에서 기원하는 기여를 전략적으로 재가중하여, U-Net 아키텍처의 두 구성 요소의 강점을 모두 활용하는 것이다. 이미지 및 비디오 생성 작업에서의 유망한 결과는 우리의 FreeU가 Stable Diffusion, DreamBooth, ModelScope, Rerender, ReVersion과 같은 기존 디퓨전 모델에 쉽게 통합될 수 있으며, 단 몇 줄의 코드만으로 생성 품질을 개선할 수 있음을 보여준다. 추론 과정에서 두 개의 스케일링 인자를 조정하기만 하면 된다. 프로젝트 페이지: https://chenyangsi.top/FreeU/.

English

In this paper, we uncover the untapped potential of diffusion U-Net, which serves as a "free lunch" that substantially improves the generation quality on the fly. We initially investigate the key contributions of the U-Net architecture to the denoising process and identify that its main backbone primarily contributes to denoising, whereas its skip connections mainly introduce high-frequency features into the decoder module, causing the network to overlook the backbone semantics. Capitalizing on this discovery, we propose a simple yet effective method-termed "FreeU" - that enhances generation quality without additional training or finetuning. Our key insight is to strategically re-weight the contributions sourced from the U-Net's skip connections and backbone feature maps, to leverage the strengths of both components of the U-Net architecture. Promising results on image and video generation tasks demonstrate that our FreeU can be readily integrated to existing diffusion models, e.g., Stable Diffusion, DreamBooth, ModelScope, Rerender and ReVersion, to improve the generation quality with only a few lines of code. All you need is to adjust two scaling factors during inference. Project page: https://chenyangsi.top/FreeU/.

FreeU: 확산 U-Net에서의 무료 점심

FreeU: Free Lunch in Diffusion U-Net

초록

Support