Het verkennen van gefedereerd snoeien voor grote taalmodellen

Exploring Federated Pruning for Large Language Models

May 19, 2025

Auteurs: Pengxin Guo, Yinong Wang, Wei Li, Mengting Liu, Ming Li, Jinkai Zheng, Liangqiong Qu

cs.AI

Samenvatting

LLM-pruning is naar voren gekomen als een veelbelovende technologie voor het comprimeren van LLM's, waardoor hun implementatie op apparaten met beperkte middelen mogelijk wordt. Huidige methodologieën vereisen echter doorgaans toegang tot openbare kalibratiegegevens, wat moeilijk te verkrijgen kan zijn in domeinen waar privacy gevoelig ligt. Om dit probleem aan te pakken, introduceren wij FedPrLLM, een uitgebreid federatief pruning-framework ontworpen voor de privacybewuste compressie van LLM's. In FedPrLLM hoeft elke client alleen een pruning-maskermatrix te berekenen op basis van zijn lokale kalibratiegegevens en deze te delen met de server om het globale model te snoeien. Deze aanpak maakt het mogelijk om het globale model gezamenlijk te snoeien met de kennis van elke client, terwijl de privacy van lokale gegevens behouden blijft. Daarnaast voeren wij uitgebreide experimenten uit om verschillende mogelijkheden binnen het FedPrLLM-framework te verkennen, waaronder verschillende vergelijkingsgroepen, pruningstrategieën en de beslissing om gewichten te schalen. Onze uitgebreide evaluatie toont aan dat one-shot pruning met laagvergelijking en zonder gewichtsschaling de optimale keuze is binnen het FedPrLLM-framework. Wij hopen dat ons werk toekomstige inspanningen zal begeleiden bij het snoeien van LLM's in privacygevoelige domeinen. Onze code is beschikbaar op https://github.com/Pengxin-Guo/FedPrLLM.

English

LLM pruning has emerged as a promising technology for compressing LLMs, enabling their deployment on resource-limited devices. However, current methodologies typically require access to public calibration samples, which can be challenging to obtain in privacy-sensitive domains. To address this issue, we introduce FedPrLLM, a comprehensive federated pruning framework designed for the privacy-preserving compression of LLMs. In FedPrLLM, each client only needs to calculate a pruning mask matrix based on its local calibration data and share it with the server to prune the global model. This approach allows for collaborative pruning of the global model with the knowledge of each client while maintaining local data privacy. Additionally, we conduct extensive experiments to explore various possibilities within the FedPrLLM framework, including different comparison groups, pruning strategies, and the decision to scale weights. Our extensive evaluation reveals that one-shot pruning with layer comparison and no weight scaling is the optimal choice within the FedPrLLM framework. We hope our work will help guide future efforts in pruning LLMs in privacy-sensitive fields. Our code is available at https://github.com/Pengxin-Guo/FedPrLLM.