Explorando la Poda Federada para Modelos de Lenguaje a Gran Escala

Exploring Federated Pruning for Large Language Models

May 19, 2025

Autores: Pengxin Guo, Yinong Wang, Wei Li, Mengting Liu, Ming Li, Jinkai Zheng, Liangqiong Qu

cs.AI

Resumen

La poda de LLM ha surgido como una tecnología prometedora para comprimir LLM, permitiendo su implementación en dispositivos con recursos limitados. Sin embargo, las metodologías actuales generalmente requieren acceso a muestras de calibración públicas, lo que puede ser difícil de obtener en dominios sensibles a la privacidad. Para abordar este problema, presentamos FedPrLLM, un marco integral de poda federada diseñado para la compresión de LLM que preserva la privacidad. En FedPrLLM, cada cliente solo necesita calcular una matriz de máscara de poda basada en sus datos de calibración locales y compartirla con el servidor para podar el modelo global. Este enfoque permite la poda colaborativa del modelo global con el conocimiento de cada cliente, manteniendo la privacidad de los datos locales. Además, realizamos experimentos extensos para explorar diversas posibilidades dentro del marco de FedPrLLM, incluyendo diferentes grupos de comparación, estrategias de poda y la decisión de escalar los pesos. Nuestra evaluación exhaustiva revela que la poda en una sola pasada con comparación de capas y sin escalado de pesos es la opción óptima dentro del marco de FedPrLLM. Esperamos que nuestro trabajo ayude a guiar futuros esfuerzos en la poda de LLM en campos sensibles a la privacidad. Nuestro código está disponible en https://github.com/Pengxin-Guo/FedPrLLM.

English

LLM pruning has emerged as a promising technology for compressing LLMs, enabling their deployment on resource-limited devices. However, current methodologies typically require access to public calibration samples, which can be challenging to obtain in privacy-sensitive domains. To address this issue, we introduce FedPrLLM, a comprehensive federated pruning framework designed for the privacy-preserving compression of LLMs. In FedPrLLM, each client only needs to calculate a pruning mask matrix based on its local calibration data and share it with the server to prune the global model. This approach allows for collaborative pruning of the global model with the knowledge of each client while maintaining local data privacy. Additionally, we conduct extensive experiments to explore various possibilities within the FedPrLLM framework, including different comparison groups, pruning strategies, and the decision to scale weights. Our extensive evaluation reveals that one-shot pruning with layer comparison and no weight scaling is the optimal choice within the FedPrLLM framework. We hope our work will help guide future efforts in pruning LLMs in privacy-sensitive fields. Our code is available at https://github.com/Pengxin-Guo/FedPrLLM.