Neuronale Netzwerk-Diffusion

Neural Network Diffusion

February 20, 2024

papers.authors: Kai Wang, Zhaopan Xu, Yukun Zhou, Zelin Zang, Trevor Darrell, Zhuang Liu, Yang You

cs.AI

papers.abstract

Diffusionsmodelle haben bemerkenswerte Erfolge in der Bild- und Videogenerierung erzielt. In dieser Arbeit zeigen wir, dass Diffusionsmodelle auch hochleistungsfähige Parameter für neuronale Netzwerke generieren können. Unser Ansatz ist einfach und nutzt einen Autoencoder sowie ein standardmäßiges latentes Diffusionsmodell. Der Autoencoder extrahiert latente Darstellungen einer Teilmenge der trainierten Netzwerkparameter. Anschließend wird ein Diffusionsmodell trainiert, um diese latenten Parameterdarstellungen aus zufälligem Rauschen zu synthetisieren. Es generiert dann neue Darstellungen, die durch den Decoder des Autoencoders geleitet werden, dessen Ausgaben direkt als neue Teilmengen von Netzwerkparametern verwendet werden können. Über verschiedene Architekturen und Datensätze hinweg erzeugt unser Diffusionsprozess konsistent Modelle mit vergleichbarer oder verbesserter Leistung gegenüber trainierten Netzwerken, bei minimalem zusätzlichem Aufwand. Bemerkenswerterweise stellen wir empirisch fest, dass die generierten Modelle im Vergleich zu den trainierten Netzwerken unterschiedlich abschneiden. Unsere Ergebnisse ermutigen zu weiterer Erforschung der vielseitigen Anwendungsmöglichkeiten von Diffusionsmodellen.

English

Diffusion models have achieved remarkable success in image and video generation. In this work, we demonstrate that diffusion models can also generate high-performing neural network parameters. Our approach is simple, utilizing an autoencoder and a standard latent diffusion model. The autoencoder extracts latent representations of a subset of the trained network parameters. A diffusion model is then trained to synthesize these latent parameter representations from random noise. It then generates new representations that are passed through the autoencoder's decoder, whose outputs are ready to use as new subsets of network parameters. Across various architectures and datasets, our diffusion process consistently generates models of comparable or improved performance over trained networks, with minimal additional cost. Notably, we empirically find that the generated models perform differently with the trained networks. Our results encourage more exploration on the versatile use of diffusion models.