大規模言語モデルにおける連合プルーニングの探求

Exploring Federated Pruning for Large Language Models

May 19, 2025

著者: Pengxin Guo, Yinong Wang, Wei Li, Mengting Liu, Ming Li, Jinkai Zheng, Liangqiong Qu

cs.AI

要旨

LLMプルーニングは、リソースが限られたデバイスへの展開を可能にするLLM圧縮技術として注目を集めています。しかし、現在の手法では一般に公開されたキャリブレーションサンプルへのアクセスが必要であり、プライバシーが重要な領域ではこれを入手することが困難です。この問題に対処するため、私たちはFedPrLLMを提案します。これは、プライバシー保護を考慮したLLM圧縮のための包括的な連合プルーニングフレームワークです。FedPrLLMでは、各クライアントはローカルのキャリブレーションデータに基づいてプルーニングマスク行列を計算し、それをサーバーと共有してグローバルモデルをプルーニングします。このアプローチにより、各クライアントの知識を活用しながらグローバルモデルの協調的なプルーニングが可能となり、ローカルデータのプライバシーを維持できます。さらに、私たちはFedPrLLMフレームワーク内でのさまざまな可能性を探るため、異なる比較グループ、プルーニング戦略、および重みのスケーリングの決定について広範な実験を行いました。私たちの詳細な評価により、レイヤー比較を行い重みのスケーリングを行わないワンショットプルーニングが、FedPrLLMフレームワーク内で最適な選択であることが明らかになりました。私たちの研究が、プライバシーが重要な分野でのLLMプルーニングの今後の取り組みを導く一助となることを願っています。私たちのコードはhttps://github.com/Pengxin-Guo/FedPrLLMで公開されています。

English

LLM pruning has emerged as a promising technology for compressing LLMs, enabling their deployment on resource-limited devices. However, current methodologies typically require access to public calibration samples, which can be challenging to obtain in privacy-sensitive domains. To address this issue, we introduce FedPrLLM, a comprehensive federated pruning framework designed for the privacy-preserving compression of LLMs. In FedPrLLM, each client only needs to calculate a pruning mask matrix based on its local calibration data and share it with the server to prune the global model. This approach allows for collaborative pruning of the global model with the knowledge of each client while maintaining local data privacy. Additionally, we conduct extensive experiments to explore various possibilities within the FedPrLLM framework, including different comparison groups, pruning strategies, and the decision to scale weights. Our extensive evaluation reveals that one-shot pruning with layer comparison and no weight scaling is the optimal choice within the FedPrLLM framework. We hope our work will help guide future efforts in pruning LLMs in privacy-sensitive fields. Our code is available at https://github.com/Pengxin-Guo/FedPrLLM.