Difusão de Redes Neurais

Neural Network Diffusion

February 20, 2024

Autores: Kai Wang, Zhaopan Xu, Yukun Zhou, Zelin Zang, Trevor Darrell, Zhuang Liu, Yang You

cs.AI

Resumo

Os modelos de difusão têm alcançado sucesso notável na geração de imagens e vídeos. Neste trabalho, demonstramos que os modelos de difusão também podem gerar parâmetros de redes neurais de alto desempenho. Nossa abordagem é simples, utilizando um autoencoder e um modelo de difusão latente padrão. O autoencoder extrai representações latentes de um subconjunto dos parâmetros treinados da rede. Um modelo de difusão é então treinado para sintetizar essas representações latentes de parâmetros a partir de ruído aleatório. Ele gera novas representações que são passadas pelo decodificador do autoencoder, cujas saídas estão prontas para serem usadas como novos subconjuntos de parâmetros da rede. Em várias arquiteturas e conjuntos de dados, nosso processo de difusão gera consistentemente modelos com desempenho comparável ou superior ao das redes treinadas, com custo adicional mínimo. Notavelmente, descobrimos empiricamente que os modelos gerados apresentam desempenho diferente das redes treinadas. Nossos resultados incentivam uma exploração mais ampla do uso versátil dos modelos de difusão.

English

Diffusion models have achieved remarkable success in image and video generation. In this work, we demonstrate that diffusion models can also generate high-performing neural network parameters. Our approach is simple, utilizing an autoencoder and a standard latent diffusion model. The autoencoder extracts latent representations of a subset of the trained network parameters. A diffusion model is then trained to synthesize these latent parameter representations from random noise. It then generates new representations that are passed through the autoencoder's decoder, whose outputs are ready to use as new subsets of network parameters. Across various architectures and datasets, our diffusion process consistently generates models of comparable or improved performance over trained networks, with minimal additional cost. Notably, we empirically find that the generated models perform differently with the trained networks. Our results encourage more exploration on the versatile use of diffusion models.