Диффузия нейронных сетей
Neural Network Diffusion
February 20, 2024
Авторы: Kai Wang, Zhaopan Xu, Yukun Zhou, Zelin Zang, Trevor Darrell, Zhuang Liu, Yang You
cs.AI
Аннотация
Диффузионные модели достигли значительных успехов в генерации изображений и видео. В данной работе мы демонстрируем, что диффузионные модели также способны генерировать высокопроизводительные параметры нейронных сетей. Наш подход прост: он использует автоэнкодер и стандартную латентную диффузионную модель. Автоэнкодер извлекает латентные представления подмножества обученных параметров сети. Затем диффузионная модель обучается синтезировать эти латентные представления параметров из случайного шума. После этого она генерирует новые представления, которые передаются через декодер автоэнкодера, и на выходе получаются готовые к использованию новые подмножества параметров сети. На различных архитектурах и наборах данных наш процесс диффузии стабильно генерирует модели, которые по производительности сопоставимы или превосходят обученные сети, при минимальных дополнительных затратах. Примечательно, что мы эмпирически обнаружили, что сгенерированные модели работают иначе по сравнению с обученными сетями. Наши результаты стимулируют дальнейшее исследование универсального использования диффузионных моделей.
English
Diffusion models have achieved remarkable success in image and video
generation. In this work, we demonstrate that diffusion models can also
generate high-performing neural network parameters. Our approach is
simple, utilizing an autoencoder and a standard latent diffusion model. The
autoencoder extracts latent representations of a subset of the trained network
parameters. A diffusion model is then trained to synthesize these latent
parameter representations from random noise. It then generates new
representations that are passed through the autoencoder's decoder, whose
outputs are ready to use as new subsets of network parameters. Across various
architectures and datasets, our diffusion process consistently generates models
of comparable or improved performance over trained networks, with minimal
additional cost. Notably, we empirically find that the generated models perform
differently with the trained networks. Our results encourage more exploration
on the versatile use of diffusion models.