DREAM: Modelli ad Attivazione Diffusa e Adattivi alla Stima

DREAM: Diffusion Rectification and Estimation-Adaptive Models

November 30, 2023

Autori: Jinxin Zhou, Tianyu Ding, Tianyi Chen, Jiachen Jiang, Ilya Zharkov, Zhihui Zhu, Luming Liang

cs.AI

Abstract

Presentiamo DREAM, un innovativo framework di addestramento che rappresenta i Modelli di Rettifica e Adattamento alla Stima della Diffusione, richiedendo modifiche minime al codice (solo tre righe) e migliorando significativamente l'allineamento tra addestramento e campionamento nei modelli di diffusione. DREAM comprende due componenti: la rettifica della diffusione, che regola l'addestramento per riflettere il processo di campionamento, e l'adattamento alla stima, che bilancia la percezione rispetto alla distorsione. Quando applicato alla super-risoluzione (SR) delle immagini, DREAM gestisce abilmente il compromesso tra la minimizzazione della distorsione e il mantenimento di un'elevata qualità dell'immagine. Gli esperimenti dimostrano la superiorità di DREAM rispetto ai metodi SR basati sulla diffusione standard, mostrando una convergenza dell'addestramento da 2 a 3 volte più veloce e una riduzione da 10 a 20 volte dei passi di campionamento necessari per ottenere risultati comparabili o superiori. Speriamo che DREAM ispiri una rivisitazione dei paradigmi di addestramento dei modelli di diffusione.

English

We present DREAM, a novel training framework representing Diffusion Rectification and Estimation-Adaptive Models, requiring minimal code changes (just three lines) yet significantly enhancing the alignment of training with sampling in diffusion models. DREAM features two components: diffusion rectification, which adjusts training to reflect the sampling process, and estimation adaptation, which balances perception against distortion. When applied to image super-resolution (SR), DREAM adeptly navigates the tradeoff between minimizing distortion and preserving high image quality. Experiments demonstrate DREAM's superiority over standard diffusion-based SR methods, showing a 2 to 3times faster training convergence and a 10 to 20times reduction in necessary sampling steps to achieve comparable or superior results. We hope DREAM will inspire a rethinking of diffusion model training paradigms.