Diversiteit en controle destilleren in diffusiemodellen

Distilling Diversity and Control in Diffusion Models

March 13, 2025

Auteurs: Rohit Gandikota, David Bau

cs.AI

Samenvatting

Gedistilleerde diffusiemodellen hebben een kritieke beperking: een verminderde steekproefdiversiteit in vergelijking met hun basisvarianten. In dit werk ontdekken we dat, ondanks dit diversiteitsverlies, gedistilleerde modellen de fundamentele conceptrepresentaties van basismodellen behouden. We demonstreren controle-distillatie - waarbij controlemechanismen zoals Concept Sliders en LoRA's die op basismodellen zijn getraind, naadloos kunnen worden overgedragen naar gedistilleerde modellen en vice versa, waardoor controle effectief wordt gedistilleerd zonder enige hertraining. Dit behoud van representatiestructuur leidde tot ons onderzoek naar de mechanismen van diversiteitscollaps tijdens distillatie. Om te begrijpen hoe distillatie diversiteit beïnvloedt, introduceren we Diffusion Target (DT) Visualisatie, een analyse- en debugtool die onthult hoe modellen einduitvoer voorspellen op tussenliggende stappen. Via DT-Visualisatie identificeren we generatie-artefacten, inconsistenties, en tonen we aan dat initiële diffusietijdstappen onevenredig de uitvoerdiversiteit bepalen, terwijl latere stappen voornamelijk details verfijnen. Op basis van deze inzichten introduceren we diversiteitsdistillatie - een hybride inferentiebenadering die strategisch het basismodel inzet voor alleen het eerste kritieke tijdstip voordat wordt overgeschakeld naar het efficiënte gedistilleerde model. Onze experimenten tonen aan dat deze eenvoudige aanpassing niet alleen de diversiteitsmogelijkheden van basis- naar gedistilleerde modellen herstelt, maar deze verrassend genoeg zelfs overtreft, terwijl bijna de rekenkundige efficiëntie van gedistilleerde inferentie behouden blijft, allemaal zonder extra training of modelaanpassingen. Onze code en gegevens zijn beschikbaar op https://distillation.baulab.info

English

Distilled diffusion models suffer from a critical limitation: reduced sample diversity compared to their base counterparts. In this work, we uncover that despite this diversity loss, distilled models retain the fundamental concept representations of base models. We demonstrate control distillation - where control mechanisms like Concept Sliders and LoRAs trained on base models can be seamlessly transferred to distilled models and vice-versa, effectively distilling control without any retraining. This preservation of representational structure prompted our investigation into the mechanisms of diversity collapse during distillation. To understand how distillation affects diversity, we introduce Diffusion Target (DT) Visualization, an analysis and debugging tool that reveals how models predict final outputs at intermediate steps. Through DT-Visualization, we identify generation artifacts, inconsistencies, and demonstrate that initial diffusion timesteps disproportionately determine output diversity, while later steps primarily refine details. Based on these insights, we introduce diversity distillation - a hybrid inference approach that strategically employs the base model for only the first critical timestep before transitioning to the efficient distilled model. Our experiments demonstrate that this simple modification not only restores the diversity capabilities from base to distilled models but surprisingly exceeds it, while maintaining nearly the computational efficiency of distilled inference, all without requiring additional training or model modifications. Our code and data are available at https://distillation.baulab.info