Диффузия нейронных сетей

Neural Network Diffusion

February 20, 2024

Авторы: Kai Wang, Zhaopan Xu, Yukun Zhou, Zelin Zang, Trevor Darrell, Zhuang Liu, Yang You

cs.AI

Аннотация

Диффузионные модели достигли значительных успехов в генерации изображений и видео. В данной работе мы демонстрируем, что диффузионные модели также способны генерировать высокопроизводительные параметры нейронных сетей. Наш подход прост: он использует автоэнкодер и стандартную латентную диффузионную модель. Автоэнкодер извлекает латентные представления подмножества обученных параметров сети. Затем диффузионная модель обучается синтезировать эти латентные представления параметров из случайного шума. После этого она генерирует новые представления, которые передаются через декодер автоэнкодера, и на выходе получаются готовые к использованию новые подмножества параметров сети. На различных архитектурах и наборах данных наш процесс диффузии стабильно генерирует модели, которые по производительности сопоставимы или превосходят обученные сети, при минимальных дополнительных затратах. Примечательно, что мы эмпирически обнаружили, что сгенерированные модели работают иначе по сравнению с обученными сетями. Наши результаты стимулируют дальнейшее исследование универсального использования диффузионных моделей.

English

Diffusion models have achieved remarkable success in image and video generation. In this work, we demonstrate that diffusion models can also generate high-performing neural network parameters. Our approach is simple, utilizing an autoencoder and a standard latent diffusion model. The autoencoder extracts latent representations of a subset of the trained network parameters. A diffusion model is then trained to synthesize these latent parameter representations from random noise. It then generates new representations that are passed through the autoencoder's decoder, whose outputs are ready to use as new subsets of network parameters. Across various architectures and datasets, our diffusion process consistently generates models of comparable or improved performance over trained networks, with minimal additional cost. Notably, we empirically find that the generated models perform differently with the trained networks. Our results encourage more exploration on the versatile use of diffusion models.