Эффективное обучение с очищенными нейронными весами.

Efficient Training with Denoised Neural Weights

July 16, 2024

Авторы: Yifan Gong, Zheng Zhan, Yanyu Li, Yerlan Idelbayev, Andrey Zharkov, Kfir Aberman, Sergey Tulyakov, Yanzhi Wang, Jian Ren

cs.AI

Аннотация

Хорошая инициализация весов служит эффективным средством снижения стоимости обучения модели глубокой нейронной сети (DNN). Выбор способа инициализации параметров представляет собой сложную задачу и может потребовать ручной настройки, что может быть затратным по времени и подвержено человеческим ошибкам. Для преодоления таких ограничений в данной работе предпринимается новый шаг к созданию генератора весов для синтеза нейронных весов для инициализации. Мы используем задачу перевода изображения в изображение с использованием генеративно-состязательных сетей (GAN) в качестве примера из-за простоты сбора модельных весов, охватывающих широкий диапазон. Конкретно, мы сначала собираем набор данных с различными концепциями редактирования изображений и соответствующими обученными весами, которые затем используются для обучения генератора весов. Для учета различных характеристик между слоями и значительного количества весов, которые необходимо предсказать, мы разделяем веса на блоки одинакового размера и присваиваем каждому блоку индекс. Затем диффузионная модель обучается на таком наборе данных с использованием как текстовых условий концепции, так и индексов блоков. Путем инициализации модели перевода изображения денежными весами, предсказанными нашей диффузионной моделью, обучение требует всего 43,3 секунды. По сравнению с обучением с нуля (т.е. Pix2pix), мы достигаем ускорения обучения в 15 раз для новой концепции, при этом получая даже более высокое качество генерации изображений.

English

Good weight initialization serves as an effective measure to reduce the training cost of a deep neural network (DNN) model. The choice of how to initialize parameters is challenging and may require manual tuning, which can be time-consuming and prone to human error. To overcome such limitations, this work takes a novel step towards building a weight generator to synthesize the neural weights for initialization. We use the image-to-image translation task with generative adversarial networks (GANs) as an example due to the ease of collecting model weights spanning a wide range. Specifically, we first collect a dataset with various image editing concepts and their corresponding trained weights, which are later used for the training of the weight generator. To address the different characteristics among layers and the substantial number of weights to be predicted, we divide the weights into equal-sized blocks and assign each block an index. Subsequently, a diffusion model is trained with such a dataset using both text conditions of the concept and the block indexes. By initializing the image translation model with the denoised weights predicted by our diffusion model, the training requires only 43.3 seconds. Compared to training from scratch (i.e., Pix2pix), we achieve a 15x training time acceleration for a new concept while obtaining even better image generation quality.