Исследование федеративной обрезки для крупных языковых моделей

Exploring Federated Pruning for Large Language Models

May 19, 2025

Авторы: Pengxin Guo, Yinong Wang, Wei Li, Mengting Liu, Ming Li, Jinkai Zheng, Liangqiong Qu

cs.AI

Аннотация

Обрезка больших языковых моделей (LLM) стала перспективной технологией для сжатия LLM, что позволяет их развертывание на устройствах с ограниченными ресурсами. Однако текущие методы обычно требуют доступа к публичным калибровочным образцам, которые могут быть сложными для получения в областях, чувствительных к конфиденциальности. Для решения этой проблемы мы представляем FedPrLLM — комплексную фреймворк для федеративной обрезки, предназначенную для сжатия LLM с сохранением конфиденциальности. В FedPrLLM каждый клиент должен только рассчитать матрицу маски обрезки на основе своих локальных калибровочных данных и поделиться ею с сервером для обрезки глобальной модели. Этот подход позволяет совместно обрезать глобальную модель с учетом знаний каждого клиента, сохраняя при этом конфиденциальность локальных данных. Кроме того, мы проводим обширные эксперименты для изучения различных возможностей в рамках фреймворка FedPrLLM, включая различные группы сравнения, стратегии обрезки и решение о масштабировании весов. Наши обширные оценки показывают, что одноэтапная обрезка с сравнением слоев и без масштабирования весов является оптимальным выбором в рамках FedPrLLM. Мы надеемся, что наша работа поможет направить будущие усилия по обрезке LLM в областях, чувствительных к конфиденциальности. Наш код доступен по адресу https://github.com/Pengxin-Guo/FedPrLLM.

English

LLM pruning has emerged as a promising technology for compressing LLMs, enabling their deployment on resource-limited devices. However, current methodologies typically require access to public calibration samples, which can be challenging to obtain in privacy-sensitive domains. To address this issue, we introduce FedPrLLM, a comprehensive federated pruning framework designed for the privacy-preserving compression of LLMs. In FedPrLLM, each client only needs to calculate a pruning mask matrix based on its local calibration data and share it with the server to prune the global model. This approach allows for collaborative pruning of the global model with the knowledge of each client while maintaining local data privacy. Additionally, we conduct extensive experiments to explore various possibilities within the FedPrLLM framework, including different comparison groups, pruning strategies, and the decision to scale weights. Our extensive evaluation reveals that one-shot pruning with layer comparison and no weight scaling is the optimal choice within the FedPrLLM framework. We hope our work will help guide future efforts in pruning LLMs in privacy-sensitive fields. Our code is available at https://github.com/Pengxin-Guo/FedPrLLM.