Effizientes Training mit gereinigten neuronalen Gewichten.

Efficient Training with Denoised Neural Weights

July 16, 2024

Autoren: Yifan Gong, Zheng Zhan, Yanyu Li, Yerlan Idelbayev, Andrey Zharkov, Kfir Aberman, Sergey Tulyakov, Yanzhi Wang, Jian Ren

cs.AI

Zusammenfassung

Eine gute Gewichtsinitialisierung dient als effektive Maßnahme zur Reduzierung der Trainingskosten eines Deep-Neural-Network (DNN)-Modells. Die Wahl, wie die Parameter initialisiert werden sollen, ist herausfordernd und erfordert möglicherweise manuelle Feinabstimmung, was zeitaufwändig und fehleranfällig sein kann. Um solche Einschränkungen zu überwinden, geht diese Arbeit einen innovativen Schritt in Richtung Aufbau eines Gewichtsgenerators, um die neuronalen Gewichte für die Initialisierung zu synthetisieren. Wir verwenden die Bild-zu-Bild-Übersetzungsaufgabe mit generativen adversarialen Netzwerken (GANs) als Beispiel aufgrund der einfachen Sammlung von Modellgewichten, die einen weiten Bereich abdecken. Konkret sammeln wir zunächst einen Datensatz mit verschiedenen Bildbearbeitungskonzepten und ihren entsprechenden trainierten Gewichten, die später für das Training des Gewichtsgenerators verwendet werden. Um die unterschiedlichen Eigenschaften zwischen den Schichten und die beträchtliche Anzahl an zu prognostizierenden Gewichten zu berücksichtigen, teilen wir die Gewichte in gleich große Blöcke auf und weisen jedem Block einen Index zu. Anschließend wird ein Diffusionsmodell mit einem solchen Datensatz unter Verwendung sowohl von Textbedingungen des Konzepts als auch der Blockindizes trainiert. Durch die Initialisierung des Bildübersetzungsmodells mit den denoisierten Gewichten, die von unserem Diffusionsmodell vorhergesagt wurden, beträgt die Trainingszeit nur 43,3 Sekunden. Im Vergleich zum Training von Grund auf (d. h. Pix2pix) erreichen wir eine 15-fache Beschleunigung der Trainingszeit für ein neues Konzept und erzielen dabei sogar eine bessere Bildgenerierungsqualität.

English

Good weight initialization serves as an effective measure to reduce the training cost of a deep neural network (DNN) model. The choice of how to initialize parameters is challenging and may require manual tuning, which can be time-consuming and prone to human error. To overcome such limitations, this work takes a novel step towards building a weight generator to synthesize the neural weights for initialization. We use the image-to-image translation task with generative adversarial networks (GANs) as an example due to the ease of collecting model weights spanning a wide range. Specifically, we first collect a dataset with various image editing concepts and their corresponding trained weights, which are later used for the training of the weight generator. To address the different characteristics among layers and the substantial number of weights to be predicted, we divide the weights into equal-sized blocks and assign each block an index. Subsequently, a diffusion model is trained with such a dataset using both text conditions of the concept and the block indexes. By initializing the image translation model with the denoised weights predicted by our diffusion model, the training requires only 43.3 seconds. Compared to training from scratch (i.e., Pix2pix), we achieve a 15x training time acceleration for a new concept while obtaining even better image generation quality.