Neuraal Netwerk Diffusie
Neural Network Diffusion
February 20, 2024
Auteurs: Kai Wang, Zhaopan Xu, Yukun Zhou, Zelin Zang, Trevor Darrell, Zhuang Liu, Yang You
cs.AI
Samenvatting
Diffusiemodellen hebben opmerkelijke successen behaald in het genereren van afbeeldingen en video's. In dit werk tonen we aan dat diffusiemodellen ook hoogwaardige neurale netwerkparameters kunnen genereren. Onze aanpak is eenvoudig en maakt gebruik van een autoencoder en een standaard latent diffusiemodel. De autoencoder extraheert latente representaties van een subset van de getrainde netwerkparameters. Vervolgens wordt een diffusiemodel getraind om deze latente parameterrepresentaties te synthetiseren uit willekeurige ruis. Het genereert dan nieuwe representaties die door de decoder van de autoencoder worden geleid, waarvan de uitvoer direct kan worden gebruikt als nieuwe subsets van netwerkparameters. Over verschillende architecturen en datasets heen genereert ons diffusieproces consistent modellen met vergelijkbare of verbeterde prestaties ten opzichte van getrainde netwerken, tegen minimale extra kosten. Opvallend is dat we empirisch vaststellen dat de gegenereerde modellen anders presteren dan de getrainde netwerken. Onze resultaten moedigen verder onderzoek aan naar de veelzijdige toepassingen van diffusiemodellen.
English
Diffusion models have achieved remarkable success in image and video
generation. In this work, we demonstrate that diffusion models can also
generate high-performing neural network parameters. Our approach is
simple, utilizing an autoencoder and a standard latent diffusion model. The
autoencoder extracts latent representations of a subset of the trained network
parameters. A diffusion model is then trained to synthesize these latent
parameter representations from random noise. It then generates new
representations that are passed through the autoencoder's decoder, whose
outputs are ready to use as new subsets of network parameters. Across various
architectures and datasets, our diffusion process consistently generates models
of comparable or improved performance over trained networks, with minimal
additional cost. Notably, we empirically find that the generated models perform
differently with the trained networks. Our results encourage more exploration
on the versatile use of diffusion models.