ニューラルネットワーク拡散

Neural Network Diffusion

February 20, 2024

著者: Kai Wang, Zhaopan Xu, Yukun Zhou, Zelin Zang, Trevor Darrell, Zhuang Liu, Yang You

cs.AI

要旨

拡散モデルは、画像や動画の生成において顕著な成功を収めてきました。本研究では、拡散モデルが高性能なニューラルネットワークパラメータの生成にも適用可能であることを実証します。我々のアプローチはシンプルで、オートエンコーダと標準的な潜在拡散モデルを活用します。オートエンコーダは、訓練済みネットワークパラメータのサブセットから潜在表現を抽出します。その後、拡散モデルを訓練して、ランダムノイズからこれらの潜在パラメータ表現を合成します。そして、新たな表現を生成し、それをオートエンコーダのデコーダに通すことで、ネットワークパラメータの新しいサブセットとして即座に使用可能な出力を得ます。様々なアーキテクチャとデータセットにおいて、我々の拡散プロセスは、訓練済みネットワークと同等またはそれ以上の性能を持つモデルを、最小限の追加コストで一貫して生成します。特に、生成されたモデルが訓練済みネットワークとは異なる挙動を示すことを経験的に発見しました。これらの結果は、拡散モデルの多様な活用についてさらなる探求を促すものです。

English

Diffusion models have achieved remarkable success in image and video generation. In this work, we demonstrate that diffusion models can also generate high-performing neural network parameters. Our approach is simple, utilizing an autoencoder and a standard latent diffusion model. The autoencoder extracts latent representations of a subset of the trained network parameters. A diffusion model is then trained to synthesize these latent parameter representations from random noise. It then generates new representations that are passed through the autoencoder's decoder, whose outputs are ready to use as new subsets of network parameters. Across various architectures and datasets, our diffusion process consistently generates models of comparable or improved performance over trained networks, with minimal additional cost. Notably, we empirically find that the generated models perform differently with the trained networks. Our results encourage more exploration on the versatile use of diffusion models.