Entrenamiento Eficiente con Pesos Neuronales Des ruidizados

Efficient Training with Denoised Neural Weights

July 16, 2024

Autores: Yifan Gong, Zheng Zhan, Yanyu Li, Yerlan Idelbayev, Andrey Zharkov, Kfir Aberman, Sergey Tulyakov, Yanzhi Wang, Jian Ren

cs.AI

Resumen

Una buena inicialización de pesos sirve como una medida efectiva para reducir el costo de entrenamiento de un modelo de red neuronal profunda (DNN, por sus siglas en inglés). La elección de cómo inicializar los parámetros es un desafío y puede requerir ajustes manuales, lo cual puede ser consumidor de tiempo y propenso a errores humanos. Para superar tales limitaciones, este trabajo da un paso novedoso hacia la construcción de un generador de pesos para sintetizar los pesos neuronales para la inicialización. Utilizamos la tarea de traducción de imagen a imagen con redes generativas adversarias (GANs) como ejemplo debido a la facilidad de recolectar pesos de modelos que abarcan un amplio rango. Específicamente, primero recopilamos un conjunto de datos con varios conceptos de edición de imágenes y sus pesos entrenados correspondientes, los cuales son posteriormente utilizados para el entrenamiento del generador de pesos. Para abordar las diferentes características entre capas y la cantidad sustancial de pesos a predecir, dividimos los pesos en bloques de tamaño igual y asignamos a cada bloque un índice. Posteriormente, se entrena un modelo de difusión con dicho conjunto de datos utilizando tanto condiciones de texto del concepto como los índices de bloque. Al inicializar el modelo de traducción de imágenes con los pesos desenruidos predichos por nuestro modelo de difusión, el entrenamiento requiere solo 43.3 segundos. En comparación con el entrenamiento desde cero (es decir, Pix2pix), logramos una aceleración de tiempo de entrenamiento de 15 veces para un nuevo concepto mientras obtenemos una calidad de generación de imágenes aún mejor.

English

Good weight initialization serves as an effective measure to reduce the training cost of a deep neural network (DNN) model. The choice of how to initialize parameters is challenging and may require manual tuning, which can be time-consuming and prone to human error. To overcome such limitations, this work takes a novel step towards building a weight generator to synthesize the neural weights for initialization. We use the image-to-image translation task with generative adversarial networks (GANs) as an example due to the ease of collecting model weights spanning a wide range. Specifically, we first collect a dataset with various image editing concepts and their corresponding trained weights, which are later used for the training of the weight generator. To address the different characteristics among layers and the substantial number of weights to be predicted, we divide the weights into equal-sized blocks and assign each block an index. Subsequently, a diffusion model is trained with such a dataset using both text conditions of the concept and the block indexes. By initializing the image translation model with the denoised weights predicted by our diffusion model, the training requires only 43.3 seconds. Compared to training from scratch (i.e., Pix2pix), we achieve a 15x training time acceleration for a new concept while obtaining even better image generation quality.