DREAM : Modèles adaptatifs de rectification et d'estimation par diffusion

DREAM: Diffusion Rectification and Estimation-Adaptive Models

November 30, 2023

Auteurs: Jinxin Zhou, Tianyu Ding, Tianyi Chen, Jiachen Jiang, Ilya Zharkov, Zhihui Zhu, Luming Liang

cs.AI

Résumé

Nous présentons DREAM, un nouveau cadre d'entraînement représentant les modèles de Rectification de Diffusion et d'Estimation Adaptative, nécessitant des modifications de code minimales (seulement trois lignes) tout en améliorant significativement l'alignement entre l'entraînement et l'échantillonnage dans les modèles de diffusion. DREAM se compose de deux éléments : la rectification de diffusion, qui ajuste l'entraînement pour refléter le processus d'échantillonnage, et l'adaptation d'estimation, qui équilibre la perception par rapport à la distorsion. Lorsqu'il est appliqué à la super-résolution d'images (SR), DREAM navigue habilement le compromis entre la minimisation de la distorsion et la préservation d'une qualité d'image élevée. Les expériences démontrent la supériorité de DREAM par rapport aux méthodes standard de SR basées sur la diffusion, montrant une convergence d'entraînement 2 à 3 fois plus rapide et une réduction de 10 à 20 fois du nombre d'étapes d'échantillonnage nécessaires pour obtenir des résultats comparables ou supérieurs. Nous espérons que DREAM inspirera une reconsidération des paradigmes d'entraînement des modèles de diffusion.

English

We present DREAM, a novel training framework representing Diffusion Rectification and Estimation-Adaptive Models, requiring minimal code changes (just three lines) yet significantly enhancing the alignment of training with sampling in diffusion models. DREAM features two components: diffusion rectification, which adjusts training to reflect the sampling process, and estimation adaptation, which balances perception against distortion. When applied to image super-resolution (SR), DREAM adeptly navigates the tradeoff between minimizing distortion and preserving high image quality. Experiments demonstrate DREAM's superiority over standard diffusion-based SR methods, showing a 2 to 3times faster training convergence and a 10 to 20times reduction in necessary sampling steps to achieve comparable or superior results. We hope DREAM will inspire a rethinking of diffusion model training paradigms.