DREAM: Modelos Adaptativos de Estimação e Retificação por Difusão

DREAM: Diffusion Rectification and Estimation-Adaptive Models

November 30, 2023

Autores: Jinxin Zhou, Tianyu Ding, Tianyi Chen, Jiachen Jiang, Ilya Zharkov, Zhihui Zhu, Luming Liang

cs.AI

Resumo

Apresentamos o DREAM, uma nova estrutura de treinamento que representa Modelos de Retificação de Difusão e Adaptação de Estimativa, exigindo mudanças mínimas no código (apenas três linhas) e, ainda assim, aprimorando significativamente o alinhamento entre o treinamento e a amostragem em modelos de difusão. O DREAM possui dois componentes: a retificação de difusão, que ajusta o treinamento para refletir o processo de amostragem, e a adaptação de estimativa, que equilibra a percepção em relação à distorção. Quando aplicado à super-resolução de imagens (SR), o DREAM navega habilmente no compromisso entre minimizar a distorção e preservar a alta qualidade da imagem. Experimentos demonstram a superioridade do DREAM em relação aos métodos padrão de SR baseados em difusão, mostrando uma convergência de treinamento de 2 a 3 vezes mais rápida e uma redução de 10 a 20 vezes no número de passos de amostragem necessários para alcançar resultados comparáveis ou superiores. Esperamos que o DREAM inspire uma reavaliação dos paradigmas de treinamento de modelos de difusão.

English

We present DREAM, a novel training framework representing Diffusion Rectification and Estimation-Adaptive Models, requiring minimal code changes (just three lines) yet significantly enhancing the alignment of training with sampling in diffusion models. DREAM features two components: diffusion rectification, which adjusts training to reflect the sampling process, and estimation adaptation, which balances perception against distortion. When applied to image super-resolution (SR), DREAM adeptly navigates the tradeoff between minimizing distortion and preserving high image quality. Experiments demonstrate DREAM's superiority over standard diffusion-based SR methods, showing a 2 to 3times faster training convergence and a 10 to 20times reduction in necessary sampling steps to achieve comparable or superior results. We hope DREAM will inspire a rethinking of diffusion model training paradigms.