Trans-LoRA: naar data-vrije overdraagbare parameter efficiënte fine-tuning

Trans-LoRA: towards data-free Transferable Parameter Efficient Finetuning

May 27, 2024

Auteurs: Runqian Wang, Soumya Ghosh, David Cox, Diego Antognini, Aude Oliva, Rogerio Feris, Leonid Karlinsky

cs.AI

Samenvatting

Low-rank adapters (LoRA) en hun varianten zijn populaire parameter-efficiënte fine-tuningtechnieken (PEFT) die de prestaties van volledige model-finetuning nauwkeurig benaderen, terwijl slechts een klein aantal extra parameters nodig is. Deze extra LoRA-parameters zijn specifiek voor het basismodel dat wordt aangepast. Wanneer het basismodel moet worden afgeschaft en vervangen door een nieuw model, moeten alle bijbehorende LoRA-modules opnieuw worden getraind. Deze hertraining vereist toegang tot de gegevens die zijn gebruikt om de LoRA voor het oorspronkelijke basismodel te trainen. Dit is vooral problematisch voor commerciële cloudapplicaties waar de LoRA-modules en de basismodellen worden gehost door serviceproviders die mogelijk geen toestemming hebben om propriëtaire klanttaakgegevens te hosten. Om deze uitdaging aan te pakken, stellen we Trans-LoRA voor – een nieuwe methode voor verliesvrije, bijna gegevensvrije overdracht van LoRA's tussen basismodellen. Onze aanpak maakt gebruik van synthetische gegevens om LoRA-modules over te dragen. Met behulp van grote taalmodellen ontwerpen we een synthetische gegevensgenerator om het gegevensgenererende proces van de waargenomen taakgegevenssubset te benaderen. Training op de resulterende synthetische dataset draagt LoRA-modules over naar nieuwe modellen. We tonen de effectiviteit van onze aanpak aan met behulp van zowel de LLama- als de Gemma-modelfamilies. Onze aanpak bereikt verliesvrije (meestal verbeterde) LoRA-overdracht tussen modellen binnen en tussen verschillende basismodelfamilies, en zelfs tussen verschillende PEFT-methoden, voor een breed scala aan taken.

English

Low-rank adapters (LoRA) and their variants are popular parameter-efficient fine-tuning (PEFT) techniques that closely match full model fine-tune performance while requiring only a small number of additional parameters. These additional LoRA parameters are specific to the base model being adapted. When the base model needs to be deprecated and replaced with a new one, all the associated LoRA modules need to be re-trained. Such re-training requires access to the data used to train the LoRA for the original base model. This is especially problematic for commercial cloud applications where the LoRA modules and the base models are hosted by service providers who may not be allowed to host proprietary client task data. To address this challenge, we propose Trans-LoRA -- a novel method for lossless, nearly data-free transfer of LoRAs across base models. Our approach relies on synthetic data to transfer LoRA modules. Using large language models, we design a synthetic data generator to approximate the data-generating process of the observed task data subset. Training on the resulting synthetic dataset transfers LoRA modules to new models. We show the effectiveness of our approach using both LLama and Gemma model families. Our approach achieves lossless (mostly improved) LoRA transfer between models within and across different base model families, and even between different PEFT methods, on a wide variety of tasks.