BitDelta：あなたのファインチューニングはたった1ビットの価値しかないかもしれない

BitDelta: Your Fine-Tune May Only Be Worth One Bit

February 15, 2024

著者: James Liu, Guangxuan Xiao, Kai Li, Jason D. Lee, Song Han, Tri Dao, Tianle Cai

cs.AI

要旨

大規模言語モデル（LLMs）は通常、2つのフェーズで訓練されます。インターネット規模の大規模データセットを用いた事前学習と、下流タスクのためのファインチューニングです。事前学習の計算需要が高いことを考えると、ファインチューニングがモデルに追加する新しい情報は少なく、したがってより圧縮可能であると直感的に推測されます。この仮定を検証するため、ファインチューニングされたモデルの重みを、事前学習された成分と追加の差分（デルタ）に分解します。我々は、この差分を1ビットまで量子化しても性能を損なわないシンプルな手法、BitDeltaを提案します。この興味深い発見は、ファインチューニング中に追加される情報の潜在的な冗長性を強調するだけでなく、ファインチューニングされたモデルのマルチテナント配信とマルチテナントストレージに重要な示唆を与えます。BitDeltaは、単一の高精度ベースモデルと複数の1ビット差分を組み合わせることで、GPUメモリ要件を10倍以上削減し、マルチテナント環境での生成遅延の改善にもつながります。我々は、Llama-2およびMistralモデルファミリー、最大70Bパラメータのモデルを用いた実験を通じてBitDeltaを検証し、すべてのテスト設定において最小限の性能低下しか生じないことを示しました。

English

Large Language Models (LLMs) are typically trained in two phases: pre-training on large internet-scale datasets, and fine-tuning for downstream tasks. Given the higher computational demand of pre-training, it's intuitive to assume that fine-tuning adds less new information to the model, and is thus more compressible. We explore this assumption by decomposing the weights of fine-tuned models into their pre-trained components and an additional delta. We introduce a simple method, BitDelta, which successfully quantizes this delta down to 1 bit without compromising performance. This interesting finding not only highlights the potential redundancy of information added during fine-tuning, but also has significant implications for the multi-tenant serving and multi-tenant storage of fine-tuned models. By enabling the use of a single high-precision base model accompanied by multiple 1-bit deltas, BitDelta dramatically reduces GPU memory requirements by more than 10x, which can also be translated to enhanced generation latency in multi-tenant settings. We validate BitDelta through experiments across Llama-2 and Mistral model families, and on models up to 70B parameters, showcasing minimal performance degradation over all tested settings.