Esplorazione del Pruning Federato per Modelli Linguistici di Grandi Dimensioni

Exploring Federated Pruning for Large Language Models

May 19, 2025

Autori: Pengxin Guo, Yinong Wang, Wei Li, Mengting Liu, Ming Li, Jinkai Zheng, Liangqiong Qu

cs.AI

Abstract

Il pruning degli LLM è emerso come una tecnologia promettente per comprimere i modelli linguistici di grandi dimensioni, consentendone il dispiegamento su dispositivi con risorse limitate. Tuttavia, le metodologie attuali richiedono tipicamente l'accesso a campioni di calibrazione pubblici, che possono essere difficili da ottenere in domini sensibili alla privacy. Per affrontare questo problema, introduciamo FedPrLLM, un framework completo di pruning federato progettato per la compressione degli LLM preservando la privacy. In FedPrLLM, ogni client deve solo calcolare una matrice di maschera di pruning basata sui propri dati di calibrazione locali e condividerla con il server per potare il modello globale. Questo approccio consente una potatura collaborativa del modello globale sfruttando la conoscenza di ciascun client, mantenendo al contempo la privacy dei dati locali. Inoltre, conduciamo esperimenti estesi per esplorare varie possibilità all'interno del framework FedPrLLM, inclusi diversi gruppi di confronto, strategie di pruning e la decisione di scalare i pesi. La nostra valutazione approfondita rivela che il pruning one-shot con confronto a livello e senza scalatura dei pesi rappresenta la scelta ottimale all'interno del framework FedPrLLM. Speriamo che il nostro lavoro possa guidare futuri sforzi nel pruning degli LLM in campi sensibili alla privacy. Il nostro codice è disponibile all'indirizzo https://github.com/Pengxin-Guo/FedPrLLM.

English

LLM pruning has emerged as a promising technology for compressing LLMs, enabling their deployment on resource-limited devices. However, current methodologies typically require access to public calibration samples, which can be challenging to obtain in privacy-sensitive domains. To address this issue, we introduce FedPrLLM, a comprehensive federated pruning framework designed for the privacy-preserving compression of LLMs. In FedPrLLM, each client only needs to calculate a pruning mask matrix based on its local calibration data and share it with the server to prune the global model. This approach allows for collaborative pruning of the global model with the knowledge of each client while maintaining local data privacy. Additionally, we conduct extensive experiments to explore various possibilities within the FedPrLLM framework, including different comparison groups, pruning strategies, and the decision to scale weights. Our extensive evaluation reveals that one-shot pruning with layer comparison and no weight scaling is the optimal choice within the FedPrLLM framework. We hope our work will help guide future efforts in pruning LLMs in privacy-sensitive fields. Our code is available at https://github.com/Pengxin-Guo/FedPrLLM.