Diffusion de Réseaux Neuronaux

Neural Network Diffusion

February 20, 2024

Auteurs: Kai Wang, Zhaopan Xu, Yukun Zhou, Zelin Zang, Trevor Darrell, Zhuang Liu, Yang You

cs.AI

Résumé

Les modèles de diffusion ont obtenu un succès remarquable dans la génération d'images et de vidéos. Dans ce travail, nous démontrons que les modèles de diffusion peuvent également générer des paramètres de réseaux neuronaux à haute performance. Notre approche est simple, utilisant un autoencodeur et un modèle de diffusion latente standard. L'autoencodeur extrait des représentations latentes d'un sous-ensemble des paramètres du réseau entraîné. Un modèle de diffusion est ensuite entraîné à synthétiser ces représentations latentes des paramètres à partir de bruit aléatoire. Il génère ensuite de nouvelles représentations qui sont passées à travers le décodeur de l'autoencodeur, dont les sorties sont prêtes à être utilisées comme nouveaux sous-ensembles de paramètres du réseau. À travers diverses architectures et jeux de données, notre processus de diffusion génère de manière cohérente des modèles de performance comparable ou améliorée par rapport aux réseaux entraînés, avec un coût supplémentaire minimal. Notamment, nous constatons empiriquement que les modèles générés se comportent différemment des réseaux entraînés. Nos résultats encouragent une exploration plus approfondie de l'utilisation polyvalente des modèles de diffusion.

English

Diffusion models have achieved remarkable success in image and video generation. In this work, we demonstrate that diffusion models can also generate high-performing neural network parameters. Our approach is simple, utilizing an autoencoder and a standard latent diffusion model. The autoencoder extracts latent representations of a subset of the trained network parameters. A diffusion model is then trained to synthesize these latent parameter representations from random noise. It then generates new representations that are passed through the autoencoder's decoder, whose outputs are ready to use as new subsets of network parameters. Across various architectures and datasets, our diffusion process consistently generates models of comparable or improved performance over trained networks, with minimal additional cost. Notably, we empirically find that the generated models perform differently with the trained networks. Our results encourage more exploration on the versatile use of diffusion models.