NitroFusion: Hoogwaardige Diffusie in één stap door middel van Dynamische Adversariële Training

NitroFusion: High-Fidelity Single-Step Diffusion through Dynamic Adversarial Training

December 2, 2024

Auteurs: Dar-Yen Chen, Hmrishav Bandyopadhyay, Kai Zou, Yi-Zhe Song

cs.AI

Samenvatting

We introduceren NitroFusion, een fundamenteel andere benadering van enkelvoudige diffusie die hoogwaardige generatie bereikt door middel van een dynamisch adversarieel kader. Terwijl éénstapsmethoden dramatische snelheidsvoordelen bieden, lijden ze doorgaans aan kwaliteitsdegradatie in vergelijking met hun meerstaps tegenhangers. Net zoals een panel van kunstcritici uitgebreide feedback biedt door zich te specialiseren in verschillende aspecten zoals compositie, kleur en techniek, behoudt onze benadering een grote pool van gespecialiseerde discriminatorhoofden die gezamenlijk het generatieproces begeleiden. Elke discriminatorgroep ontwikkelt expertise in specifieke kwaliteitsaspecten op verschillende ruisniveaus, waardoor diverse feedback wordt gegeven die hoogwaardige enkelstaps generatie mogelijk maakt. Ons kader combineert: (i) een dynamische discriminatorpool met gespecialiseerde discriminatorgroepen om de generatiekwaliteit te verbeteren, (ii) strategische vernieuwingsmechanismen om overpassing van de discriminator te voorkomen, en (iii) globaal-lokale discriminatorhoofden voor kwaliteitsbeoordeling op meerdere schalen, en onvoorwaardelijke/voorwaardelijke training voor gebalanceerde generatie. Bovendien ondersteunt ons kader op unieke wijze flexibele implementatie door middel van bottom-up verfijning, waardoor gebruikers dynamisch kunnen kiezen tussen 1-4 denoisestappen met hetzelfde model voor directe kwaliteit-snelheid afwegingen. Via uitgebreide experimenten tonen we aan dat NitroFusion aanzienlijk beter presteert dan bestaande enkelstapsmethoden over meerdere evaluatiemetrics, waarbij het in het bijzonder uitblinkt in het behouden van fijne details en globale consistentie.

English

We introduce NitroFusion, a fundamentally different approach to single-step diffusion that achieves high-quality generation through a dynamic adversarial framework. While one-step methods offer dramatic speed advantages, they typically suffer from quality degradation compared to their multi-step counterparts. Just as a panel of art critics provides comprehensive feedback by specializing in different aspects like composition, color, and technique, our approach maintains a large pool of specialized discriminator heads that collectively guide the generation process. Each discriminator group develops expertise in specific quality aspects at different noise levels, providing diverse feedback that enables high-fidelity one-step generation. Our framework combines: (i) a dynamic discriminator pool with specialized discriminator groups to improve generation quality, (ii) strategic refresh mechanisms to prevent discriminator overfitting, and (iii) global-local discriminator heads for multi-scale quality assessment, and unconditional/conditional training for balanced generation. Additionally, our framework uniquely supports flexible deployment through bottom-up refinement, allowing users to dynamically choose between 1-4 denoising steps with the same model for direct quality-speed trade-offs. Through comprehensive experiments, we demonstrate that NitroFusion significantly outperforms existing single-step methods across multiple evaluation metrics, particularly excelling in preserving fine details and global consistency.