Erforschung des föderierten Beschneidens für große Sprachmodelle

Exploring Federated Pruning for Large Language Models

May 19, 2025

Autoren: Pengxin Guo, Yinong Wang, Wei Li, Mengting Liu, Ming Li, Jinkai Zheng, Liangqiong Qu

cs.AI

Zusammenfassung

LLM-Pruning hat sich als vielversprechende Technologie zur Komprimierung von LLMs erwiesen, die deren Einsatz auf ressourcenbeschränkten Geräten ermöglicht. Aktuelle Methoden erfordern jedoch typischerweise Zugriff auf öffentliche Kalibrierungsdaten, die in datenschutzsensiblen Bereichen schwer zu beschaffen sein können. Um dieses Problem zu lösen, stellen wir FedPrLLM vor, ein umfassendes Framework für föderiertes Pruning, das für die datenschutzbewahrende Komprimierung von LLMs entwickelt wurde. In FedPrLLM muss jeder Client lediglich eine Pruning-Maskenmatrix basierend auf seinen lokalen Kalibrierungsdaten berechnen und diese mit dem Server teilen, um das globale Modell zu beschneiden. Dieser Ansatz ermöglicht eine kollaborative Beschneidung des globalen Modells unter Nutzung des Wissens jedes Clients, während die lokale Datenprivatheit gewahrt bleibt. Zusätzlich führen wir umfangreiche Experimente durch, um verschiedene Möglichkeiten innerhalb des FedPrLLM-Frameworks zu untersuchen, darunter verschiedene Vergleichsgruppen, Pruning-Strategien und die Entscheidung zur Gewichtsskalierung. Unsere umfassende Auswertung zeigt, dass One-Shot-Pruning mit Layer-Vergleich und ohne Gewichtsskalierung die optimale Wahl innerhalb des FedPrLLM-Frameworks ist. Wir hoffen, dass unsere Arbeit zukünftige Bemühungen zur Beschneidung von LLMs in datenschutzsensiblen Bereichen unterstützen wird. Unser Code ist verfügbar unter https://github.com/Pengxin-Guo/FedPrLLM.

English

LLM pruning has emerged as a promising technology for compressing LLMs, enabling their deployment on resource-limited devices. However, current methodologies typically require access to public calibration samples, which can be challenging to obtain in privacy-sensitive domains. To address this issue, we introduce FedPrLLM, a comprehensive federated pruning framework designed for the privacy-preserving compression of LLMs. In FedPrLLM, each client only needs to calculate a pruning mask matrix based on its local calibration data and share it with the server to prune the global model. This approach allows for collaborative pruning of the global model with the knowledge of each client while maintaining local data privacy. Additionally, we conduct extensive experiments to explore various possibilities within the FedPrLLM framework, including different comparison groups, pruning strategies, and the decision to scale weights. Our extensive evaluation reveals that one-shot pruning with layer comparison and no weight scaling is the optimal choice within the FedPrLLM framework. We hope our work will help guide future efforts in pruning LLMs in privacy-sensitive fields. Our code is available at https://github.com/Pengxin-Guo/FedPrLLM.