Federale volledige-parameterafstemming van taalmodelen van miljarden grootte met communicatiekosten onder de 18 kilobyte

Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes

December 11, 2023

Auteurs: Zhen Qin, Daoyuan Chen, Bingchen Qian, Bolin Ding, Yaliang Li, Shuiguang Deng

cs.AI

Samenvatting

Vooraf getrainde grote taalmodellen (LLMs) vereisen fine-tuning om hun reactievermogen op natuurlijke taal-instructies te verbeteren. Federated learning (FL) biedt een manier om fine-tuning uit te voeren met behulp van de overvloedige gegevens op eindapparaten zonder de gegevensprivacy in gevaar te brengen. De meeste bestaande federated fine-tuning-methoden voor LLMs vertrouwen op parameter-efficiënte fine-tuning-technieken, die mogelijk niet de prestaties bereiken die mogelijk zijn met volledige parameter-tuning. De communicatie-overhead die gepaard gaat met volledige parameter-tuning is echter onhaalbaar hoog voor zowel servers als clients. Dit werk introduceert FedKSeed, een nieuwe aanpak die zeroth-order optimalisatie (ZOO) gebruikt met een set van willekeurige seeds. Het maakt federated volledige parameter-tuning van miljard-grote LLMs rechtstreeks op apparaten mogelijk. Onze methode vermindert de transmissievereisten tussen de server en clients aanzienlijk tot slechts een paar scalaire gradienten en willekeurige seeds, wat slechts een paar duizend bytes bedraagt. Hierop voortbouwend ontwikkelen we een strategie om het belang van ZOO-perturbaties voor FL te beoordelen, waardoor waarschijnlijkheidsgedifferentieerde seed-sampling mogelijk wordt. Dit geeft prioriteit aan perturbaties die een grotere impact hebben op de nauwkeurigheid van het model. Experimenten in zes scenario's met verschillende LLMs, datasets en gegevenspartities tonen aan dat onze aanpak de bestaande federated LLM fine-tuning-methoden overtreft in termen van zowel communicatie-efficiëntie als generalisatie naar nieuwe taken.

English

Pre-trained large language models (LLMs) require fine-tuning to improve their responsiveness to natural language instructions. Federated learning (FL) offers a way to perform fine-tuning using the abundant data on end devices without compromising data privacy. Most existing federated fine-tuning methods for LLMs rely on parameter-efficient fine-tuning techniques, which may not reach the performance heights possible with full-parameter tuning. However, the communication overhead associated with full-parameter tuning is prohibitively high for both servers and clients. This work introduces FedKSeed, a novel approach that employs zeroth-order optimization (ZOO) with a set of random seeds. It enables federated full-parameter tuning of billion-sized LLMs directly on devices. Our method significantly reduces transmission requirements between the server and clients to just a few scalar gradients and random seeds, amounting to only a few thousand bytes. Building on this, we develop a strategy to assess the significance of ZOO perturbations for FL, allowing for probability-differentiated seed sampling. This prioritizes perturbations that have a greater impact on model accuracy. Experiments across six scenarios with different LLMs, datasets and data partitions demonstrate that our approach outperforms existing federated LLM fine-tuning methods in terms of both communication efficiency and new task generalization.