Análise e Melhoria da Dinâmica de Treinamento de Modelos de Difusão

Analyzing and Improving the Training Dynamics of Diffusion Models

December 5, 2023

Autores: Tero Karras, Miika Aittala, Jaakko Lehtinen, Janne Hellsten, Timo Aila, Samuli Laine

cs.AI

Resumo

Os modelos de difusão atualmente dominam o campo de síntese de imagens baseada em dados, com sua capacidade incomparável de escalonamento para grandes conjuntos de dados. Neste artigo, identificamos e corrigimos várias causas para treinamento irregular e ineficaz na arquitetura popular do modelo de difusão ADM, sem alterar sua estrutura de alto nível. Observando mudanças descontroladas de magnitude e desequilíbrios tanto nas ativações quanto nos pesos da rede ao longo do treinamento, redesenhamos as camadas da rede para preservar as magnitudes de ativação, peso e atualização em expectativa. Descobrimos que a aplicação sistemática dessa filosofia elimina os desvios e desequilíbrios observados, resultando em redes consideravelmente melhores com igual complexidade computacional. Nossas modificações melhoram o recorde anterior de FID de 2,41 na síntese de ImageNet-512 para 1,81, alcançado usando amostragem determinística rápida. Como uma contribuição independente, apresentamos um método para configurar os parâmetros da média móvel exponencial (EMA) post-hoc, ou seja, após a conclusão da execução do treinamento. Isso permite o ajuste preciso do comprimento da EMA sem o custo de realizar várias execuções de treinamento, e revela suas interações surpreendentes com a arquitetura da rede, tempo de treinamento e orientação.

English

Diffusion models currently dominate the field of data-driven image synthesis with their unparalleled scaling to large datasets. In this paper, we identify and rectify several causes for uneven and ineffective training in the popular ADM diffusion model architecture, without altering its high-level structure. Observing uncontrolled magnitude changes and imbalances in both the network activations and weights over the course of training, we redesign the network layers to preserve activation, weight, and update magnitudes on expectation. We find that systematic application of this philosophy eliminates the observed drifts and imbalances, resulting in considerably better networks at equal computational complexity. Our modifications improve the previous record FID of 2.41 in ImageNet-512 synthesis to 1.81, achieved using fast deterministic sampling. As an independent contribution, we present a method for setting the exponential moving average (EMA) parameters post-hoc, i.e., after completing the training run. This allows precise tuning of EMA length without the cost of performing several training runs, and reveals its surprising interactions with network architecture, training time, and guidance.