NitroFusion: Hochwertige Einzelschritt-Diffusion durch dynamisches adversarielles Training

NitroFusion: High-Fidelity Single-Step Diffusion through Dynamic Adversarial Training

December 2, 2024

Autoren: Dar-Yen Chen, Hmrishav Bandyopadhyay, Kai Zou, Yi-Zhe Song

cs.AI

Zusammenfassung

Wir stellen NitroFusion vor, einen grundlegend anderen Ansatz zur Ein-Schritt-Diffusion, der durch ein dynamisches adversarielles Framework eine hochwertige Generierung erreicht. Während Ein-Schritt-Methoden dramatische Geschwindigkeitsvorteile bieten, leiden sie typischerweise unter Qualitätsverschlechterungen im Vergleich zu ihren Mehrschritt-Gegenstücken. Ähnlich wie ein Gremium von Kunstkritikern, das umfassendes Feedback bietet, indem es sich auf verschiedene Aspekte wie Komposition, Farbe und Technik spezialisiert, behält unser Ansatz einen großen Pool spezialisierter Diskriminator-Köpfe bei, die gemeinsam den Generierungsprozess leiten. Jede Diskriminator-Gruppe entwickelt Expertise in spezifischen Qualitätsaspekten bei unterschiedlichen Rauschniveaus und bietet vielfältiges Feedback, das eine hochwertige Ein-Schritt-Generierung ermöglicht. Unser Framework kombiniert: (i) einen dynamischen Diskriminator-Pool mit spezialisierten Diskriminator-Gruppen zur Verbesserung der Generierungsqualität, (ii) strategische Aktualisierungsmechanismen zur Verhinderung von Überanpassung des Diskriminators und (iii) globale-lokale Diskriminator-Köpfe für die mehrskalige Qualitätsbewertung sowie bedingtes/unbedingtes Training für eine ausgewogene Generierung. Darüber hinaus unterstützt unser Framework auf einzigartige Weise eine flexible Bereitstellung durch Bottom-up-Verfeinerung, die es Benutzern ermöglicht, dynamisch zwischen 1-4 Rauschunterdrückungsschritten mit demselben Modell für direkte Qualitäts-Geschwindigkeits-Kompromisse zu wählen. Durch umfassende Experimente zeigen wir, dass NitroFusion signifikant bessere Leistungen als bestehende Ein-Schritt-Methoden über mehrere Bewertungskriterien hinweg erbringt und insbesondere in der Bewahrung feiner Details und globaler Konsistenz herausragt.

English

We introduce NitroFusion, a fundamentally different approach to single-step diffusion that achieves high-quality generation through a dynamic adversarial framework. While one-step methods offer dramatic speed advantages, they typically suffer from quality degradation compared to their multi-step counterparts. Just as a panel of art critics provides comprehensive feedback by specializing in different aspects like composition, color, and technique, our approach maintains a large pool of specialized discriminator heads that collectively guide the generation process. Each discriminator group develops expertise in specific quality aspects at different noise levels, providing diverse feedback that enables high-fidelity one-step generation. Our framework combines: (i) a dynamic discriminator pool with specialized discriminator groups to improve generation quality, (ii) strategic refresh mechanisms to prevent discriminator overfitting, and (iii) global-local discriminator heads for multi-scale quality assessment, and unconditional/conditional training for balanced generation. Additionally, our framework uniquely supports flexible deployment through bottom-up refinement, allowing users to dynamically choose between 1-4 denoising steps with the same model for direct quality-speed trade-offs. Through comprehensive experiments, we demonstrate that NitroFusion significantly outperforms existing single-step methods across multiple evaluation metrics, particularly excelling in preserving fine details and global consistency.