NitroFusion: Difusión de Alta Fidelidad en un Solo Paso a Través del Entrenamiento Adversarial Dinámico

NitroFusion: High-Fidelity Single-Step Diffusion through Dynamic Adversarial Training

December 2, 2024

Autores: Dar-Yen Chen, Hmrishav Bandyopadhyay, Kai Zou, Yi-Zhe Song

cs.AI

Resumen

Presentamos NitroFusion, un enfoque fundamentalmente diferente para la difusión en un solo paso que logra una generación de alta calidad a través de un marco adversarial dinámico. Mientras que los métodos de un solo paso ofrecen ventajas de velocidad dramáticas, típicamente sufren de degradación de calidad en comparación con sus contrapartes de múltiples pasos. Así como un panel de críticos de arte proporciona retroalimentación integral al especializarse en diferentes aspectos como composición, color y técnica, nuestro enfoque mantiene un amplio conjunto de cabezas de discriminador especializadas que guían colectivamente el proceso de generación. Cada grupo de discriminadores desarrolla experiencia en aspectos específicos de calidad en diferentes niveles de ruido, proporcionando retroalimentación diversa que permite una generación de un solo paso de alta fidelidad. Nuestro marco combina: (i) un conjunto de discriminadores dinámico con grupos de discriminadores especializados para mejorar la calidad de generación, (ii) mecanismos de actualización estratégicos para evitar el sobreajuste del discriminador, y (iii) cabezas de discriminador global-local para evaluación de calidad a múltiples escalas, y entrenamiento incondicional/condicional para generación equilibrada. Además, nuestro marco admite de manera única un despliegue flexible a través de un refinamiento ascendente, lo que permite a los usuarios elegir dinámicamente entre 1-4 pasos de eliminación de ruido con el mismo modelo para compensar directamente entre calidad y velocidad. A través de experimentos exhaustivos, demostramos que NitroFusion supera significativamente a los métodos de un solo paso existentes en múltiples métricas de evaluación, destacándose especialmente en la preservación de detalles finos y consistencia global.

English

We introduce NitroFusion, a fundamentally different approach to single-step diffusion that achieves high-quality generation through a dynamic adversarial framework. While one-step methods offer dramatic speed advantages, they typically suffer from quality degradation compared to their multi-step counterparts. Just as a panel of art critics provides comprehensive feedback by specializing in different aspects like composition, color, and technique, our approach maintains a large pool of specialized discriminator heads that collectively guide the generation process. Each discriminator group develops expertise in specific quality aspects at different noise levels, providing diverse feedback that enables high-fidelity one-step generation. Our framework combines: (i) a dynamic discriminator pool with specialized discriminator groups to improve generation quality, (ii) strategic refresh mechanisms to prevent discriminator overfitting, and (iii) global-local discriminator heads for multi-scale quality assessment, and unconditional/conditional training for balanced generation. Additionally, our framework uniquely supports flexible deployment through bottom-up refinement, allowing users to dynamically choose between 1-4 denoising steps with the same model for direct quality-speed trade-offs. Through comprehensive experiments, we demonstrate that NitroFusion significantly outperforms existing single-step methods across multiple evaluation metrics, particularly excelling in preserving fine details and global consistency.