SaRA: Hoogefficiënt Diffusie Model Fijnafstemming met Progressieve Schrale Lage-Rang Aanpassing

SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation

September 10, 2024

Auteurs: Teng Hu, Jiangning Zhang, Ran Yi, Hongrui Huang, Yabiao Wang, Lizhuang Ma

cs.AI

Samenvatting

In de afgelopen jaren heeft de ontwikkeling van diffusiemodellen geleid tot aanzienlijke vooruitgang in taken voor het genereren van afbeeldingen en video's, met vooraf getrainde modellen zoals de Stable Diffusion-serie die een cruciale rol spelen. Geïnspireerd door modelpruning, waarbij grote vooraf getrainde modellen worden verlicht door onbelangrijke parameters te verwijderen, stellen we een nieuw model fine-tuning methode voor om volledig gebruik te maken van deze ineffectieve parameters en het vooraf getrainde model te voorzien van nieuwe, taakspecifieke mogelijkheden. In dit werk onderzoeken we eerst het belang van parameters in vooraf getrainde diffusiemodellen en ontdekken dat de kleinste 10% tot 20% van de parameters qua absolute waarden niet bijdragen aan het generatieproces. Op basis van deze observatie stellen we een methode voor genaamd SaRA voor die deze tijdelijk ineffectieve parameters opnieuw gebruikt, wat neerkomt op het optimaliseren van een schaarse gewichtsmatrix om de taakspecifieke kennis te leren. Om overpassing te verminderen, stellen we een op de kernnorm gebaseerd laag-rang schaars trainingsschema voor voor efficiënte fine-tuning. Bovendien ontwerpen we een nieuwe progressieve parameteraanpassingsstrategie om volledig gebruik te maken van de opnieuw getrainde/gefine-tunede parameters. Ten slotte stellen we een nieuwe ongestructureerde backpropagation-strategie voor, die aanzienlijk geheugenkosten verlaagt tijdens fine-tuning. Onze methode verbetert de generatieve mogelijkheden van vooraf getrainde modellen in downstream-toepassingen en overtreft traditionele fine-tuning methoden zoals LoRA in het behouden van het generalisatievermogen van het model. We valideren onze benadering door fine-tuning-experimenten op SD-modellen uit te voeren, waarbij significante verbeteringen worden aangetoond. SaRA biedt ook een praktisch voordeel dat slechts één regel codeaanpassing vereist voor efficiënte implementatie en naadloos compatibel is met bestaande methoden.

English

In recent years, the development of diffusion models has led to significant progress in image and video generation tasks, with pre-trained models like the Stable Diffusion series playing a crucial role. Inspired by model pruning which lightens large pre-trained models by removing unimportant parameters, we propose a novel model fine-tuning method to make full use of these ineffective parameters and enable the pre-trained model with new task-specified capabilities. In this work, we first investigate the importance of parameters in pre-trained diffusion models, and discover that the smallest 10% to 20% of parameters by absolute values do not contribute to the generation process. Based on this observation, we propose a method termed SaRA that re-utilizes these temporarily ineffective parameters, equating to optimizing a sparse weight matrix to learn the task-specific knowledge. To mitigate overfitting, we propose a nuclear-norm-based low-rank sparse training scheme for efficient fine-tuning. Furthermore, we design a new progressive parameter adjustment strategy to make full use of the re-trained/finetuned parameters. Finally, we propose a novel unstructural backpropagation strategy, which significantly reduces memory costs during fine-tuning. Our method enhances the generative capabilities of pre-trained models in downstream applications and outperforms traditional fine-tuning methods like LoRA in maintaining model's generalization ability. We validate our approach through fine-tuning experiments on SD models, demonstrating significant improvements. SaRA also offers a practical advantage that requires only a single line of code modification for efficient implementation and is seamlessly compatible with existing methods.