フェレット：大規模言語モデルのためのスケールでのフェデレーテッド全パラメータ調整

Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models

September 10, 2024

著者: Yao Shu, Wenyang Hu, See-Kiong Ng, Bryan Kian Hsiang Low, Fei Richard Yu

cs.AI

要旨

大規模言語モデル（LLMs）は、多くの実世界アプリケーションで不可欠となっています。残念ながら、データプライバシーと通信効率が重要な分散環境でのスケールでのこれらのモデルの微調整は、著しい課題を提起します。既存の手法は、通信オーバーヘッドを軽減するためにパラメータ効率の微調整（PEFT）に頼ることがよくありますが、これは通常、モデルの精度を犠牲にすることになります。これらの制限に対処するために、我々はLLMsのスケーラブルな全パラメータ調整のための共有乱数を備えた最初の一次方法であるFerretを提案します。Ferretは、分散データソース全体でのLLMsのスケーラブルな全パラメータ調整を可能にするために、競争力のあるモデルの精度を維持しながら、3つの側面を通じてこれを達成します。1つ目は、効率的なローカル更新のために広く適用されている一次法を採用しています。2つ目は、これらの更新を低次元空間に射影して通信オーバーヘッドを大幅に削減します。3つ目は、この低次元空間からのローカル更新を共有乱数を用いて再構築し、迅速な収束と競争力のある最終パフォーマンスを確保するための効果的な全パラメータグローバル集約を促進します。厳密な理論的分析と洞察と、幅広い実験により、Ferretが既存の分散全パラメータ調整手法のスケーラビリティを著しく向上させ、高い計算効率、低い通信オーバーヘッド、迅速な収束を達成し、競争力のあるモデルの精度を維持していることが示されました。弊社の実装はhttps://github.com/allen4747/Ferretで入手可能です。

English

Large Language Models (LLMs) have become indispensable in numerous real-world applications. Unfortunately, fine-tuning these models at scale, especially in federated settings where data privacy and communication efficiency are critical, presents significant challenges. Existing methods often resort to parameter-efficient fine-tuning (PEFT) to mitigate communication overhead, but this typically comes at the cost of model accuracy. To address these limitations, we propose federated full-parameter tuning at scale for LLMs (Ferret), the first first-order method with shared randomness to enable scalable full-parameter tuning of LLMs across decentralized data sources while maintaining competitive model accuracy. Ferret accomplishes this through three aspects: (1) it employs widely applied first-order methods for efficient local updates; (2) it projects these updates into a low-dimensional space to considerably reduce communication overhead; and (3) it reconstructs local updates from this low-dimensional space with shared randomness to facilitate effective full-parameter global aggregation, ensuring fast convergence and competitive final performance. Our rigorous theoretical analyses and insights along with extensive experiments, show that Ferret significantly enhances the scalability of existing federated full-parameter tuning approaches by achieving high computational efficiency, reduced communication overhead, and fast convergence, all while maintaining competitive model accuracy. Our implementation is available at https://github.com/allen4747/Ferret.