신경망 확산

Neural Network Diffusion

February 20, 2024

저자: Kai Wang, Zhaopan Xu, Yukun Zhou, Zelin Zang, Trevor Darrell, Zhuang Liu, Yang You

cs.AI

초록

확산 모델(Diffusion Model)은 이미지 및 비디오 생성 분야에서 주목할 만한 성과를 거두었다. 본 연구에서는 확산 모델이 고성능 신경망 매개변수 생성에도 활용될 수 있음을 입증한다. 우리의 접근 방식은 오토인코더(Autoencoder)와 표준 잠재 확산 모델(Latent Diffusion Model)을 활용한 간단한 방법이다. 오토인코더는 훈련된 신경망 매개변수의 부분 집합에 대한 잠재 표현을 추출한다. 이후 확산 모델은 무작위 노이즈로부터 이러한 잠재 매개변수 표현을 합성하도록 훈련된다. 이 모델은 새로운 잠재 표현을 생성하며, 이는 오토인코더의 디코더를 통과하여 신경망 매개변수의 새로운 부분 집합으로 바로 사용될 수 있다. 다양한 아키텍처와 데이터셋에서 우리의 확산 과정은 훈련된 신경망과 비교할 만하거나 더 나은 성능을 보이는 모델을 일관적으로 생성하며, 추가 비용은 최소화된다. 특히, 실험적으로 생성된 모델이 훈련된 신경망과는 다른 성능을 보임을 확인하였다. 이러한 결과는 확산 모델의 다용도 활용에 대한 더 많은 탐구를 촉진한다.

English

Diffusion models have achieved remarkable success in image and video generation. In this work, we demonstrate that diffusion models can also generate high-performing neural network parameters. Our approach is simple, utilizing an autoencoder and a standard latent diffusion model. The autoencoder extracts latent representations of a subset of the trained network parameters. A diffusion model is then trained to synthesize these latent parameter representations from random noise. It then generates new representations that are passed through the autoencoder's decoder, whose outputs are ready to use as new subsets of network parameters. Across various architectures and datasets, our diffusion process consistently generates models of comparable or improved performance over trained networks, with minimal additional cost. Notably, we empirically find that the generated models perform differently with the trained networks. Our results encourage more exploration on the versatile use of diffusion models.