Анализ и улучшение динамики обучения диффузионных моделей

Analyzing and Improving the Training Dynamics of Diffusion Models

December 5, 2023

Авторы: Tero Karras, Miika Aittala, Jaakko Lehtinen, Janne Hellsten, Timo Aila, Samuli Laine

cs.AI

Аннотация

Диффузионные модели в настоящее время доминируют в области синтеза изображений на основе данных благодаря их беспрецедентной масштабируемости на больших наборах данных. В данной статье мы выявляем и устраняем несколько причин неравномерного и неэффективного обучения в популярной архитектуре диффузионной модели ADM, не изменяя её высокоуровневую структуру. Наблюдая неконтролируемые изменения величин и дисбалансы как в активациях сети, так и в весах в процессе обучения, мы перепроектируем слои сети для сохранения ожидаемых величин активаций, весов и обновлений. Мы обнаруживаем, что систематическое применение этого подхода устраняет наблюдаемые сдвиги и дисбалансы, что приводит к значительно лучшим сетям при той же вычислительной сложности. Наши модификации улучшают предыдущий рекордный показатель FID, равный 2.41 для синтеза ImageNet-512, до 1.81, достигнутого с использованием быстрого детерминированного сэмплирования. В качестве независимого вклада мы представляем метод для установки параметров экспоненциального скользящего среднего (EMA) постфактум, то есть после завершения обучения. Это позволяет точно настраивать длину EMA без затрат на выполнение нескольких обучающих прогонов и выявляет его удивительные взаимодействия с архитектурой сети, временем обучения и управлением.

English

Diffusion models currently dominate the field of data-driven image synthesis with their unparalleled scaling to large datasets. In this paper, we identify and rectify several causes for uneven and ineffective training in the popular ADM diffusion model architecture, without altering its high-level structure. Observing uncontrolled magnitude changes and imbalances in both the network activations and weights over the course of training, we redesign the network layers to preserve activation, weight, and update magnitudes on expectation. We find that systematic application of this philosophy eliminates the observed drifts and imbalances, resulting in considerably better networks at equal computational complexity. Our modifications improve the previous record FID of 2.41 in ImageNet-512 synthesis to 1.81, achieved using fast deterministic sampling. As an independent contribution, we present a method for setting the exponential moving average (EMA) parameters post-hoc, i.e., after completing the training run. This allows precise tuning of EMA length without the cost of performing several training runs, and reveals its surprising interactions with network architecture, training time, and guidance.