RectifiedHR: 에너지 정류를 통한 고해상도 이미지 생성의 효율적 구현

RectifiedHR: Enable Efficient High-Resolution Image Generation via Energy Rectification

March 4, 2025

저자: Zhen Yang, Guibao Shen, Liang Hou, Mushui Liu, Luozhou Wang, Xin Tao, Pengfei Wan, Di Zhang, Ying-Cong Chen

cs.AI

초록

디퓨전 모델은 다양한 이미지 생성 작업에서 놀라운 발전을 이루어냈습니다. 그러나 훈련 기간 동안 사용된 해상도보다 높은 해상도의 이미지를 생성할 때 그 성능이 현저히 저하됩니다. 고해상도 이미지를 생성하기 위한 수많은 방법이 존재하지만, 이들은 비효율적이거나 복잡한 연산으로 인해 제약을 받고 있습니다. 본 논문에서는 훈련 없이 고해상도 이미지를 생성할 수 있는 효율적이고 간단한 솔루션인 RectifiedHR을 제안합니다. 구체적으로, 우리는 노이즈 리프레시 전략을 도입하여 이론적으로 몇 줄의 코드만으로 모델의 고해상도 생성 능력을 해제하고 효율성을 향상시킬 수 있습니다. 또한, 우리는 고해상도 이미지 생성 과정에서 이미지 흐림 현상을 유발할 수 있는 에너지 감쇠 현상을 처음으로 관찰했습니다. 이 문제를 해결하기 위해 에너지 보정 전략을 제안하며, 여기서 분류기 없는 가이던스의 하이퍼파라미터를 수정함으로써 생성 성능을 효과적으로 개선합니다. 우리의 방법은 완전히 훈련이 필요 없으며 간단한 구현 논리를 자랑합니다. 수많은 베이스라인 방법들과의 광범위한 비교를 통해, 우리의 RectifiedHR은 우수한 효과성과 효율성을 입증했습니다.

English

Diffusion models have achieved remarkable advances in various image generation tasks. However, their performance notably declines when generating images at resolutions higher than those used during the training period. Despite the existence of numerous methods for producing high-resolution images, they either suffer from inefficiency or are hindered by complex operations. In this paper, we propose RectifiedHR, an efficient and straightforward solution for training-free high-resolution image generation. Specifically, we introduce the noise refresh strategy, which theoretically only requires a few lines of code to unlock the model's high-resolution generation ability and improve efficiency. Additionally, we first observe the phenomenon of energy decay that may cause image blurriness during the high-resolution image generation process. To address this issue, we propose an Energy Rectification strategy, where modifying the hyperparameters of the classifier-free guidance effectively improves the generation performance. Our method is entirely training-free and boasts a simple implementation logic. Through extensive comparisons with numerous baseline methods, our RectifiedHR demonstrates superior effectiveness and efficiency.