LoRAShear: Эффективное структурированное прореживание и восстановление знаний в больших языковых моделях

LoRAShear: Efficient Large Language Model Structured Pruning and Knowledge Recovery

October 24, 2023

Авторы: Tianyi Chen, Tianyu Ding, Badal Yadav, Ilya Zharkov, Luming Liang

cs.AI

Аннотация

Крупные языковые модели (LLMs) изменили ландшафт искусственного интеллекта, однако их огромный размер создает значительные вызовы с точки зрения вычислительных затрат. Мы представляем LoRAShear — новый эффективный подход для структурного сокращения LLMs и восстановления знаний. Для общих LLMs LoRAShear сначала создает графы зависимостей, чтобы определить минимально удаляемые структуры и проанализировать распределение знаний. Затем он выполняет прогрессивное структурированное сокращение адаптеров LoRA, что позволяет осуществить внутренний перенос знаний для лучшего сохранения информации в избыточных структурах. Для восстановления утраченных знаний в процессе сокращения LoRAShear тщательно изучает и предлагает схемы динамической тонкой настройки с динамическими адаптерами данных, чтобы эффективно сократить разрыв в производительности по сравнению с полными моделями. Численные результаты показывают, что, используя всего один GPU в течение нескольких дней, LoRAShear эффективно уменьшает объем LLMs на 20% при ухудшении производительности всего на 1,0% и значительно превосходит современные методы. Исходный код будет доступен по адресу https://github.com/microsoft/lorashear.

English

Large Language Models (LLMs) have transformed the landscape of artificial intelligence, while their enormous size presents significant challenges in terms of computational costs. We introduce LoRAShear, a novel efficient approach to structurally prune LLMs and recover knowledge. Given general LLMs, LoRAShear first creates the dependency graphs to discover minimally removal structures and analyze the knowledge distribution. It then proceeds progressive structured pruning on LoRA adaptors and enables inherent knowledge transfer to better preserve the information in the redundant structures. To recover the lost knowledge during pruning, LoRAShear meticulously studies and proposes a dynamic fine-tuning schemes with dynamic data adaptors to effectively narrow down the performance gap to the full models. Numerical results demonstrate that by only using one GPU within a couple of GPU days, LoRAShear effectively reduced footprint of LLMs by 20% with only 1.0% performance degradation and significantly outperforms state-of-the-arts. The source code will be available at https://github.com/microsoft/lorashear.