Analisi e miglioramento delle dinamiche di addestramento nei modelli di diffusione

Analyzing and Improving the Training Dynamics of Diffusion Models

December 5, 2023

Autori: Tero Karras, Miika Aittala, Jaakko Lehtinen, Janne Hellsten, Timo Aila, Samuli Laine

cs.AI

Abstract

I modelli di diffusione attualmente dominano il campo della sintesi di immagini basata sui dati grazie alla loro scalabilità senza pari su grandi dataset. In questo articolo, identifichiamo e correggiamo diverse cause di un addestramento irregolare e inefficace nella popolare architettura del modello di diffusione ADM, senza alterarne la struttura di alto livello. Osservando cambiamenti incontrollati nelle magnitudini e squilibri sia nelle attivazioni della rete che nei pesi durante l'addestramento, ridisegniamo i livelli della rete per preservare, in media, le magnitudini delle attivazioni, dei pesi e degli aggiornamenti. Scopriamo che l'applicazione sistematica di questa filosofia elimina le derive e gli squilibri osservati, producendo reti notevolmente migliori a parità di complessità computazionale. Le nostre modifiche migliorano il precedente record FID di 2.41 nella sintesi di ImageNet-512, portandolo a 1.81, ottenuto utilizzando un campionamento deterministico veloce. Come contributo indipendente, presentiamo un metodo per impostare i parametri della media mobile esponenziale (EMA) a posteriori, ovvero dopo aver completato l'addestramento. Ciò consente una regolazione precisa della durata dell'EMA senza il costo di eseguire più cicli di addestramento e rivela le sue sorprendenti interazioni con l'architettura della rete, il tempo di addestramento e la guida.

English

Diffusion models currently dominate the field of data-driven image synthesis with their unparalleled scaling to large datasets. In this paper, we identify and rectify several causes for uneven and ineffective training in the popular ADM diffusion model architecture, without altering its high-level structure. Observing uncontrolled magnitude changes and imbalances in both the network activations and weights over the course of training, we redesign the network layers to preserve activation, weight, and update magnitudes on expectation. We find that systematic application of this philosophy eliminates the observed drifts and imbalances, resulting in considerably better networks at equal computational complexity. Our modifications improve the previous record FID of 2.41 in ImageNet-512 synthesis to 1.81, achieved using fast deterministic sampling. As an independent contribution, we present a method for setting the exponential moving average (EMA) parameters post-hoc, i.e., after completing the training run. This allows precise tuning of EMA length without the cost of performing several training runs, and reveals its surprising interactions with network architecture, training time, and guidance.