SaRA: Ajuste fino de modelos de difusión de alta eficiencia con Adaptación Progresiva Esparsa de Bajo Rango.

SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation

September 10, 2024

Autores: Teng Hu, Jiangning Zhang, Ran Yi, Hongrui Huang, Yabiao Wang, Lizhuang Ma

cs.AI

Resumen

En los últimos años, el desarrollo de modelos de difusión ha conducido a avances significativos en tareas de generación de imágenes y videos, con modelos pre-entrenados como la serie Stable Diffusion desempeñando un papel crucial. Inspirados en la poda de modelos que aligera modelos pre-entrenados grandes al eliminar parámetros no importantes, proponemos un novedoso método de ajuste fino de modelos para aprovechar al máximo estos parámetros ineficaces y habilitar al modelo pre-entrenado con nuevas capacidades especificadas para una tarea. En este trabajo, investigamos primero la importancia de los parámetros en los modelos de difusión pre-entrenados, y descubrimos que el 10% al 20% más pequeño de los parámetros por valores absolutos no contribuyen al proceso de generación. Basándonos en esta observación, proponemos un método denominado SaRA que reutiliza estos parámetros temporalmente ineficaces, optimizando una matriz de pesos dispersos para aprender el conocimiento específico de la tarea. Para mitigar el sobreajuste, proponemos un esquema de entrenamiento disperso de rango bajo basado en la norma nuclear para un ajuste fino eficiente. Además, diseñamos una nueva estrategia de ajuste progresivo de parámetros para aprovechar al máximo los parámetros re-entrenados/ajustados finamente. Finalmente, proponemos una novedosa estrategia de retropropagación no estructurada, que reduce significativamente los costos de memoria durante el ajuste fino. Nuestro método mejora las capacidades generativas de los modelos pre-entrenados en aplicaciones posteriores y supera a métodos tradicionales de ajuste fino como LoRA en mantener la capacidad de generalización del modelo. Validamos nuestro enfoque a través de experimentos de ajuste fino en modelos SD, demostrando mejoras significativas. SaRA también ofrece una ventaja práctica que requiere solo una modificación de una línea de código para una implementación eficiente y es compatible de manera transparente con métodos existentes.

English

In recent years, the development of diffusion models has led to significant progress in image and video generation tasks, with pre-trained models like the Stable Diffusion series playing a crucial role. Inspired by model pruning which lightens large pre-trained models by removing unimportant parameters, we propose a novel model fine-tuning method to make full use of these ineffective parameters and enable the pre-trained model with new task-specified capabilities. In this work, we first investigate the importance of parameters in pre-trained diffusion models, and discover that the smallest 10% to 20% of parameters by absolute values do not contribute to the generation process. Based on this observation, we propose a method termed SaRA that re-utilizes these temporarily ineffective parameters, equating to optimizing a sparse weight matrix to learn the task-specific knowledge. To mitigate overfitting, we propose a nuclear-norm-based low-rank sparse training scheme for efficient fine-tuning. Furthermore, we design a new progressive parameter adjustment strategy to make full use of the re-trained/finetuned parameters. Finally, we propose a novel unstructural backpropagation strategy, which significantly reduces memory costs during fine-tuning. Our method enhances the generative capabilities of pre-trained models in downstream applications and outperforms traditional fine-tuning methods like LoRA in maintaining model's generalization ability. We validate our approach through fine-tuning experiments on SD models, demonstrating significant improvements. SaRA also offers a practical advantage that requires only a single line of code modification for efficient implementation and is seamlessly compatible with existing methods.