Addestramento Efficiente con Pesi Neurali Denoisati

Efficient Training with Denoised Neural Weights

July 16, 2024

Autori: Yifan Gong, Zheng Zhan, Yanyu Li, Yerlan Idelbayev, Andrey Zharkov, Kfir Aberman, Sergey Tulyakov, Yanzhi Wang, Jian Ren

cs.AI

Abstract

Una buona inizializzazione dei pesi rappresenta una misura efficace per ridurre il costo di addestramento di un modello di rete neurale profonda (DNN). La scelta di come inizializzare i parametri è complessa e può richiedere una regolazione manuale, che risulta dispendiosa in termini di tempo e soggetta a errori umani. Per superare tali limitazioni, questo lavoro compie un passo innovativo verso la creazione di un generatore di pesi per sintetizzare i pesi neurali per l'inizializzazione. Utilizziamo come esempio il compito di traduzione immagine-immagine con reti generative avversarie (GANs) grazie alla facilità di raccogliere pesi di modelli che coprono un ampio spettro. Nello specifico, raccogliamo prima un dataset con vari concetti di editing di immagini e i corrispondenti pesi addestrati, che vengono successivamente utilizzati per l'addestramento del generatore di pesi. Per affrontare le diverse caratteristiche tra i livelli e il numero considerevole di pesi da prevedere, dividiamo i pesi in blocchi di dimensioni uguali e assegniamo a ciascun blocco un indice. Successivamente, un modello di diffusione viene addestrato con tale dataset utilizzando sia le condizioni testuali del concetto che gli indici dei blocchi. Inizializzando il modello di traduzione immagine con i pesi denoizzati previsti dal nostro modello di diffusione, l'addestramento richiede solo 43,3 secondi. Rispetto all'addestramento da zero (ad esempio, Pix2pix), otteniamo un'accelerazione del tempo di addestramento di 15x per un nuovo concetto, raggiungendo una qualità di generazione delle immagini persino migliore.

English

Good weight initialization serves as an effective measure to reduce the training cost of a deep neural network (DNN) model. The choice of how to initialize parameters is challenging and may require manual tuning, which can be time-consuming and prone to human error. To overcome such limitations, this work takes a novel step towards building a weight generator to synthesize the neural weights for initialization. We use the image-to-image translation task with generative adversarial networks (GANs) as an example due to the ease of collecting model weights spanning a wide range. Specifically, we first collect a dataset with various image editing concepts and their corresponding trained weights, which are later used for the training of the weight generator. To address the different characteristics among layers and the substantial number of weights to be predicted, we divide the weights into equal-sized blocks and assign each block an index. Subsequently, a diffusion model is trained with such a dataset using both text conditions of the concept and the block indexes. By initializing the image translation model with the denoised weights predicted by our diffusion model, the training requires only 43.3 seconds. Compared to training from scratch (i.e., Pix2pix), we achieve a 15x training time acceleration for a new concept while obtaining even better image generation quality.