LoRAShear: Effizientes strukturiertes Pruning und Wissenswiederherstellung für große Sprachmodelle

LoRAShear: Efficient Large Language Model Structured Pruning and Knowledge Recovery

October 24, 2023

papers.authors: Tianyi Chen, Tianyu Ding, Badal Yadav, Ilya Zharkov, Luming Liang

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben die Landschaft der künstlichen Intelligenz revolutioniert, während ihre enorme Größe erhebliche Herausforderungen in Bezug auf die Rechenkosten mit sich bringt. Wir stellen LoRAShear vor, einen neuartigen effizienten Ansatz zur strukturellen Reduzierung von LLMs und zur Wiederherstellung von Wissen. Bei gegebenen allgemeinen LLMs erstellt LoRAShear zunächst Abhängigkeitsgraphen, um minimal entfernte Strukturen zu identifizieren und die Wissensverteilung zu analysieren. Anschließend führt es eine progressive strukturierte Reduzierung der LoRA-Adapter durch und ermöglicht einen inhärenten Wissenstransfer, um die Informationen in den redundanten Strukturen besser zu bewahren. Um das während der Reduzierung verlorene Wissen wiederherzustellen, untersucht LoRAShear sorgfältig und schlägt dynamische Feinabstimmungsschemata mit dynamischen Datenadaptern vor, um die Leistungslücke zu den vollständigen Modellen effektiv zu verringern. Numerische Ergebnisse zeigen, dass LoRAShear durch die Nutzung nur einer GPU innerhalb weniger GPU-Tage den Speicherbedarf von LLMs um 20 % reduziert, bei nur 1,0 % Leistungsverlust, und dabei die aktuellen Spitzentechnologien deutlich übertrifft. Der Quellcode wird unter https://github.com/microsoft/lorashear verfügbar sein.

English

Large Language Models (LLMs) have transformed the landscape of artificial intelligence, while their enormous size presents significant challenges in terms of computational costs. We introduce LoRAShear, a novel efficient approach to structurally prune LLMs and recover knowledge. Given general LLMs, LoRAShear first creates the dependency graphs to discover minimally removal structures and analyze the knowledge distribution. It then proceeds progressive structured pruning on LoRA adaptors and enables inherent knowledge transfer to better preserve the information in the redundant structures. To recover the lost knowledge during pruning, LoRAShear meticulously studies and proposes a dynamic fine-tuning schemes with dynamic data adaptors to effectively narrow down the performance gap to the full models. Numerical results demonstrate that by only using one GPU within a couple of GPU days, LoRAShear effectively reduced footprint of LLMs by 20% with only 1.0% performance degradation and significantly outperforms state-of-the-arts. The source code will be available at https://github.com/microsoft/lorashear.