Explorando a Poda Federada para Modelos de Linguagem de Grande Escala
Exploring Federated Pruning for Large Language Models
May 19, 2025
Autores: Pengxin Guo, Yinong Wang, Wei Li, Mengting Liu, Ming Li, Jinkai Zheng, Liangqiong Qu
cs.AI
Resumo
A poda de LLMs emergiu como uma tecnologia promissora para a compressão de LLMs, permitindo sua implantação em dispositivos com recursos limitados. No entanto, as metodologias atuais geralmente exigem acesso a amostras de calibração públicas, o que pode ser desafiador de obter em domínios sensíveis à privacidade. Para abordar essa questão, introduzimos o FedPrLLM, uma estrutura abrangente de poda federada projetada para a compressão de LLMs com preservação de privacidade. No FedPrLLM, cada cliente precisa apenas calcular uma matriz de máscara de poda com base em seus dados de calibração locais e compartilhá-la com o servidor para podar o modelo global. Essa abordagem permite a poda colaborativa do modelo global com o conhecimento de cada cliente, mantendo a privacidade dos dados locais. Além disso, realizamos experimentos extensivos para explorar várias possibilidades dentro da estrutura FedPrLLM, incluindo diferentes grupos de comparação, estratégias de poda e a decisão de dimensionar os pesos. Nossa avaliação extensiva revela que a poda única com comparação de camadas e sem dimensionamento de pesos é a escolha ideal dentro da estrutura FedPrLLM. Esperamos que nosso trabalho ajude a orientar futuros esforços na poda de LLMs em campos sensíveis à privacidade. Nosso código está disponível em https://github.com/Pengxin-Guo/FedPrLLM.
English
LLM pruning has emerged as a promising technology for compressing LLMs,
enabling their deployment on resource-limited devices. However, current
methodologies typically require access to public calibration samples, which can
be challenging to obtain in privacy-sensitive domains. To address this issue,
we introduce FedPrLLM, a comprehensive federated pruning framework designed for
the privacy-preserving compression of LLMs. In FedPrLLM, each client only needs
to calculate a pruning mask matrix based on its local calibration data and
share it with the server to prune the global model. This approach allows for
collaborative pruning of the global model with the knowledge of each client
while maintaining local data privacy. Additionally, we conduct extensive
experiments to explore various possibilities within the FedPrLLM framework,
including different comparison groups, pruning strategies, and the decision to
scale weights. Our extensive evaluation reveals that one-shot pruning with
layer comparison and no weight scaling is the optimal choice within the
FedPrLLM framework. We hope our work will help guide future efforts in pruning
LLMs in privacy-sensitive fields. Our code is available at
https://github.com/Pengxin-Guo/FedPrLLM.