DREAM: Diffusionskorrektur und Schätzungsadaptive Modelle

DREAM: Diffusion Rectification and Estimation-Adaptive Models

November 30, 2023

Autoren: Jinxin Zhou, Tianyu Ding, Tianyi Chen, Jiachen Jiang, Ilya Zharkov, Zhihui Zhu, Luming Liang

cs.AI

Zusammenfassung

Wir stellen DREAM vor, ein neuartiges Trainingsframework, das für Diffusion Rectification und Estimation-Adaptive Models steht und nur minimale Codeänderungen (nur drei Zeilen) erfordert, jedoch die Ausrichtung des Trainings an den Sampling-Prozess in Diffusionsmodellen erheblich verbessert. DREAM umfasst zwei Komponenten: Diffusion Rectification, die das Training anpasst, um den Sampling-Prozess widerzuspiegeln, und Estimation Adaptation, die die Wahrnehmung gegen Verzerrung ausbalanciert. Bei der Anwendung auf Bildsuperauflösung (SR) meistert DREAM geschickt den Kompromiss zwischen der Minimierung von Verzerrungen und der Bewahrung einer hohen Bildqualität. Experimente zeigen die Überlegenheit von DREAM gegenüber standardmäßigen diffusionsbasierten SR-Methoden, mit einer 2- bis 3-fach schnelleren Trainingskonvergenz und einer 10- bis 20-fachen Reduktion der notwendigen Sampling-Schritte, um vergleichbare oder bessere Ergebnisse zu erzielen. Wir hoffen, dass DREAM eine Neubewertung der Trainingsparadigmen für Diffusionsmodelle anregen wird.

English

We present DREAM, a novel training framework representing Diffusion Rectification and Estimation-Adaptive Models, requiring minimal code changes (just three lines) yet significantly enhancing the alignment of training with sampling in diffusion models. DREAM features two components: diffusion rectification, which adjusts training to reflect the sampling process, and estimation adaptation, which balances perception against distortion. When applied to image super-resolution (SR), DREAM adeptly navigates the tradeoff between minimizing distortion and preserving high image quality. Experiments demonstrate DREAM's superiority over standard diffusion-based SR methods, showing a 2 to 3times faster training convergence and a 10 to 20times reduction in necessary sampling steps to achieve comparable or superior results. We hope DREAM will inspire a rethinking of diffusion model training paradigms.