SaRA : Ajustement fin d'un modèle de diffusion à haute efficacité avec adaptation progressive de faible rang épars.

SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation

September 10, 2024

Auteurs: Teng Hu, Jiangning Zhang, Ran Yi, Hongrui Huang, Yabiao Wang, Lizhuang Ma

cs.AI

Résumé

Ces dernières années, le développement de modèles de diffusion a conduit à des progrès significatifs dans les tâches de génération d'images et de vidéos, avec des modèles pré-entraînés tels que la série Stable Diffusion jouant un rôle crucial. Inspirés par l'élagage de modèles qui allège les grands modèles pré-entraînés en supprimant les paramètres non importants, nous proposons une nouvelle méthode de fine-tuning de modèle pour tirer pleinement parti de ces paramètres inefficaces et permettre au modèle pré-entraîné d'acquérir de nouvelles capacités spécifiques à la tâche. Dans ce travail, nous investiguons d'abord l'importance des paramètres dans les modèles de diffusion pré-entraînés, et découvrons que les 10% à 20% les plus petits des paramètres en valeurs absolues ne contribuent pas au processus de génération. Sur la base de cette observation, nous proposons une méthode appelée SaRA qui réutilise ces paramètres temporairement inefficaces, équivalant à optimiser une matrice de poids clairsemée pour apprendre la connaissance spécifique à la tâche. Pour atténuer le surajustement, nous proposons un schéma d'entraînement clairsemé à faible rang basé sur la norme nucléaire pour un fine-tuning efficace. De plus, nous concevons une nouvelle stratégie de réglage progressif des paramètres pour tirer pleinement parti des paramètres re-entraînés/finetuned. Enfin, nous proposons une nouvelle stratégie de rétropropagation non structurée, qui réduit significativement les coûts de mémoire lors du fine-tuning. Notre méthode améliore les capacités génératives des modèles pré-entraînés dans les applications aval et surpasse les méthodes traditionnelles de fine-tuning comme LoRA pour maintenir la capacité de généralisation du modèle. Nous validons notre approche à travers des expériences de fine-tuning sur les modèles SD, démontrant des améliorations significatives. SaRA offre également un avantage pratique qui nécessite seulement une seule modification de ligne de code pour une implémentation efficace et est parfaitement compatible avec les méthodes existantes.

English

In recent years, the development of diffusion models has led to significant progress in image and video generation tasks, with pre-trained models like the Stable Diffusion series playing a crucial role. Inspired by model pruning which lightens large pre-trained models by removing unimportant parameters, we propose a novel model fine-tuning method to make full use of these ineffective parameters and enable the pre-trained model with new task-specified capabilities. In this work, we first investigate the importance of parameters in pre-trained diffusion models, and discover that the smallest 10% to 20% of parameters by absolute values do not contribute to the generation process. Based on this observation, we propose a method termed SaRA that re-utilizes these temporarily ineffective parameters, equating to optimizing a sparse weight matrix to learn the task-specific knowledge. To mitigate overfitting, we propose a nuclear-norm-based low-rank sparse training scheme for efficient fine-tuning. Furthermore, we design a new progressive parameter adjustment strategy to make full use of the re-trained/finetuned parameters. Finally, we propose a novel unstructural backpropagation strategy, which significantly reduces memory costs during fine-tuning. Our method enhances the generative capabilities of pre-trained models in downstream applications and outperforms traditional fine-tuning methods like LoRA in maintaining model's generalization ability. We validate our approach through fine-tuning experiments on SD models, demonstrating significant improvements. SaRA also offers a practical advantage that requires only a single line of code modification for efficient implementation and is seamlessly compatible with existing methods.