DREAM: 확산 정규화 및 추정-적응형 모델

DREAM: Diffusion Rectification and Estimation-Adaptive Models

November 30, 2023

저자: Jinxin Zhou, Tianyu Ding, Tianyi Chen, Jiachen Jiang, Ilya Zharkov, Zhihui Zhu, Luming Liang

cs.AI

초록

우리는 DREAM(Diffusion Rectification and Estimation-Adaptive Models)이라는 새로운 훈련 프레임워크를 제안합니다. 이 프레임워크는 최소한의 코드 변경(단 세 줄)만으로도 확산 모델(diffusion models)에서 훈련과 샘플링의 정렬을 크게 향상시킵니다. DREAM은 두 가지 주요 구성 요소를 특징으로 합니다: 확산 보정(diffusion rectification)은 샘플링 과정을 반영하도록 훈련을 조정하고, 추정 적응(estimation adaptation)은 왜곡 대비 인지(perception) 간의 균형을 맞춥니다. 이미지 초해상도(SR)에 적용할 때, DREAM은 왜곡 최소화와 고화질 유지 사이의 균형을 능숙하게 조절합니다. 실험 결과, DREAM은 기존의 확산 기반 SR 방법을 능가하며, 훈련 수렴 속도가 2~3배 빨라지고, 동등하거나 더 나은 결과를 얻기 위해 필요한 샘플링 단계가 10~20배 감소함을 보여줍니다. 우리는 DREAM이 확산 모델 훈련 패러다임에 대한 재고를 촉발하기를 기대합니다.

English

We present DREAM, a novel training framework representing Diffusion Rectification and Estimation-Adaptive Models, requiring minimal code changes (just three lines) yet significantly enhancing the alignment of training with sampling in diffusion models. DREAM features two components: diffusion rectification, which adjusts training to reflect the sampling process, and estimation adaptation, which balances perception against distortion. When applied to image super-resolution (SR), DREAM adeptly navigates the tradeoff between minimizing distortion and preserving high image quality. Experiments demonstrate DREAM's superiority over standard diffusion-based SR methods, showing a 2 to 3times faster training convergence and a 10 to 20times reduction in necessary sampling steps to achieve comparable or superior results. We hope DREAM will inspire a rethinking of diffusion model training paradigms.