Trans-LoRA: データ不要な転送可能なパラメータ効率的ファインチューニングに向けて

Trans-LoRA: towards data-free Transferable Parameter Efficient Finetuning

May 27, 2024

著者: Runqian Wang, Soumya Ghosh, David Cox, Diego Antognini, Aude Oliva, Rogerio Feris, Leonid Karlinsky

cs.AI

要旨

低ランクアダプタ（LoRA）とその派生技術は、パラメータ効率の良いファインチューニング（PEFT）手法として広く利用されており、完全なモデルのファインチューニング性能に匹敵しつつ、追加パラメータ数を大幅に削減します。これらの追加LoRAパラメータは、適応対象のベースモデルに固有です。ベースモデルが廃止され、新しいモデルに置き換えられる場合、関連するすべてのLoRAモジュールを再トレーニングする必要があります。この再トレーニングには、元のベースモデル用のLoRAをトレーニングするために使用されたデータへのアクセスが必要です。これは特に商用クラウドアプリケーションにおいて問題となります。なぜなら、LoRAモジュールとベースモデルはサービスプロバイダによってホストされており、プロプライエタリなクライアントタスクデータをホストすることが許可されていない場合があるからです。この課題に対処するため、我々はTrans-LoRAを提案します。これは、ベースモデル間でLoRAをロスレスかつほぼデータフリーで転移する新しい手法です。我々のアプローチは、合成データを利用してLoRAモジュールを転移します。大規模言語モデルを使用して、観測されたタスクデータサブセットのデータ生成プロセスを近似する合成データジェネレータを設計します。結果として得られた合成データセットでトレーニングを行うことで、LoRAモジュールを新しいモデルに転移します。我々は、LLamaとGemmaモデルファミリーを使用して、このアプローチの有効性を示します。我々のアプローチは、異なるベースモデルファミリー内およびファミリー間、さらには異なるPEFT手法間においても、幅広いタスクでロスレス（ほとんどの場合改善された）LoRA転移を実現します。

English

Low-rank adapters (LoRA) and their variants are popular parameter-efficient fine-tuning (PEFT) techniques that closely match full model fine-tune performance while requiring only a small number of additional parameters. These additional LoRA parameters are specific to the base model being adapted. When the base model needs to be deprecated and replaced with a new one, all the associated LoRA modules need to be re-trained. Such re-training requires access to the data used to train the LoRA for the original base model. This is especially problematic for commercial cloud applications where the LoRA modules and the base models are hosted by service providers who may not be allowed to host proprietary client task data. To address this challenge, we propose Trans-LoRA -- a novel method for lossless, nearly data-free transfer of LoRAs across base models. Our approach relies on synthetic data to transfer LoRA modules. Using large language models, we design a synthetic data generator to approximate the data-generating process of the observed task data subset. Training on the resulting synthetic dataset transfers LoRA modules to new models. We show the effectiveness of our approach using both LLama and Gemma model families. Our approach achieves lossless (mostly improved) LoRA transfer between models within and across different base model families, and even between different PEFT methods, on a wide variety of tasks.