Trans-LoRA: verso un fine-tuning efficiente e trasferibile dei parametri senza dati

Trans-LoRA: towards data-free Transferable Parameter Efficient Finetuning

May 27, 2024

Autori: Runqian Wang, Soumya Ghosh, David Cox, Diego Antognini, Aude Oliva, Rogerio Feris, Leonid Karlinsky

cs.AI

Abstract

Gli adattatori a basso rango (LoRA) e le loro varianti sono tecniche popolari di fine-tuning efficiente in termini di parametri (PEFT) che si avvicinano alle prestazioni del fine-tuning completo del modello, richiedendo solo un numero ridotto di parametri aggiuntivi. Questi parametri LoRA aggiuntivi sono specifici per il modello di base adattato. Quando il modello di base deve essere deprecato e sostituito con uno nuovo, tutti i moduli LoRA associati devono essere ri-addestrati. Tale ri-addestramento richiede l'accesso ai dati utilizzati per addestrare il LoRA per il modello di base originale. Ciò è particolarmente problematico per le applicazioni cloud commerciali in cui i moduli LoRA e i modelli di base sono ospitati da fornitori di servizi che potrebbero non essere autorizzati a ospitare dati proprietari dei clienti. Per affrontare questa sfida, proponiamo Trans-LoRA — un metodo innovativo per il trasferimento senza perdite e quasi privo di dati dei LoRA tra modelli di base. Il nostro approccio si basa su dati sintetici per trasferire i moduli LoRA. Utilizzando modelli linguistici di grandi dimensioni, progettiamo un generatore di dati sintetici per approssimare il processo di generazione dei dati del sottoinsieme di dati osservati. L'addestramento sul dataset sintetico risultante trasferisce i moduli LoRA a nuovi modelli. Dimostriamo l'efficacia del nostro approccio utilizzando sia le famiglie di modelli LLama che Gemma. Il nostro approccio raggiunge un trasferimento LoRA senza perdite (per lo più migliorato) tra modelli all'interno e tra diverse famiglie di modelli di base, e persino tra diversi metodi PEFT, su una vasta gamma di task.

English

Low-rank adapters (LoRA) and their variants are popular parameter-efficient fine-tuning (PEFT) techniques that closely match full model fine-tune performance while requiring only a small number of additional parameters. These additional LoRA parameters are specific to the base model being adapted. When the base model needs to be deprecated and replaced with a new one, all the associated LoRA modules need to be re-trained. Such re-training requires access to the data used to train the LoRA for the original base model. This is especially problematic for commercial cloud applications where the LoRA modules and the base models are hosted by service providers who may not be allowed to host proprietary client task data. To address this challenge, we propose Trans-LoRA -- a novel method for lossless, nearly data-free transfer of LoRAs across base models. Our approach relies on synthetic data to transfer LoRA modules. Using large language models, we design a synthetic data generator to approximate the data-generating process of the observed task data subset. Training on the resulting synthetic dataset transfers LoRA modules to new models. We show the effectiveness of our approach using both LLama and Gemma model families. Our approach achieves lossless (mostly improved) LoRA transfer between models within and across different base model families, and even between different PEFT methods, on a wide variety of tasks.