DREAM: Diffusie-rectificatie en schattingsadaptieve modellen

DREAM: Diffusion Rectification and Estimation-Adaptive Models

November 30, 2023

Auteurs: Jinxin Zhou, Tianyu Ding, Tianyi Chen, Jiachen Jiang, Ilya Zharkov, Zhihui Zhu, Luming Liang

cs.AI

Samenvatting

We presenteren DREAM, een nieuw trainingsframework dat staat voor Diffusion Rectification and Estimation-Adaptive Models, dat minimale codeaanpassingen vereist (slechts drie regels) maar de afstemming van training op sampling in diffusiemodellen aanzienlijk verbetert. DREAM bestaat uit twee componenten: diffusierectificatie, die de training aanpast om het samplingproces te weerspiegelen, en schattingsadaptatie, die de balans tussen perceptie en vervorming bewaakt. Wanneer toegepast op beeld-superresolutie (SR), navigeert DREAM vaardig de afweging tussen het minimaliseren van vervorming en het behouden van hoge beeldkwaliteit. Experimenten tonen de superioriteit van DREAM aan ten opzichte van standaard diffusiegebaseerde SR-methoden, met een 2 tot 3 keer snellere trainingsconvergentie en een 10 tot 20 keer reductie in benodigde samplingstappen om vergelijkbare of betere resultaten te bereiken. We hopen dat DREAM een herziening van de trainingsparadigma's voor diffusiemodellen zal inspireren.

English

We present DREAM, a novel training framework representing Diffusion Rectification and Estimation-Adaptive Models, requiring minimal code changes (just three lines) yet significantly enhancing the alignment of training with sampling in diffusion models. DREAM features two components: diffusion rectification, which adjusts training to reflect the sampling process, and estimation adaptation, which balances perception against distortion. When applied to image super-resolution (SR), DREAM adeptly navigates the tradeoff between minimizing distortion and preserving high image quality. Experiments demonstrate DREAM's superiority over standard diffusion-based SR methods, showing a 2 to 3times faster training convergence and a 10 to 20times reduction in necessary sampling steps to achieve comparable or superior results. We hope DREAM will inspire a rethinking of diffusion model training paradigms.