Trans-LoRA : vers un réglage fin efficace et transférable des paramètres sans données

Trans-LoRA: towards data-free Transferable Parameter Efficient Finetuning

May 27, 2024

papers.authors: Runqian Wang, Soumya Ghosh, David Cox, Diego Antognini, Aude Oliva, Rogerio Feris, Leonid Karlinsky

cs.AI

papers.abstract

Les adaptateurs à faible rang (LoRA) et leurs variantes sont des techniques populaires de fine-tuning efficace en paramètres (PEFT) qui atteignent des performances proches du fine-tuning complet du modèle tout en nécessitant seulement un petit nombre de paramètres supplémentaires. Ces paramètres LoRA supplémentaires sont spécifiques au modèle de base adapté. Lorsque le modèle de base doit être abandonné et remplacé par un nouveau, tous les modules LoRA associés doivent être ré-entraînés. Ce ré-entraînement nécessite l'accès aux données utilisées pour entraîner le LoRA du modèle de base d'origine. Cela pose particulièrement problème pour les applications cloud commerciales où les modules LoRA et les modèles de base sont hébergés par des fournisseurs de services qui ne sont pas autorisés à héberger les données propriétaires des clients. Pour relever ce défi, nous proposons Trans-LoRA -- une méthode novatrice pour le transfert sans perte et quasi sans données des LoRA entre modèles de base. Notre approche repose sur des données synthétiques pour transférer les modules LoRA. En utilisant des modèles de langage de grande taille, nous concevons un générateur de données synthétiques pour approximer le processus de génération de données du sous-ensemble de données de la tâche observée. L'entraînement sur l'ensemble de données synthétiques résultant transfère les modules LoRA vers de nouveaux modèles. Nous démontrons l'efficacité de notre approche en utilisant les familles de modèles LLama et Gemma. Notre méthode permet un transfert de LoRA sans perte (et souvent amélioré) entre modèles au sein d'une même famille de modèles de base, entre différentes familles de modèles de base, et même entre différentes méthodes PEFT, sur une grande variété de tâches.

English

Low-rank adapters (LoRA) and their variants are popular parameter-efficient fine-tuning (PEFT) techniques that closely match full model fine-tune performance while requiring only a small number of additional parameters. These additional LoRA parameters are specific to the base model being adapted. When the base model needs to be deprecated and replaced with a new one, all the associated LoRA modules need to be re-trained. Such re-training requires access to the data used to train the LoRA for the original base model. This is especially problematic for commercial cloud applications where the LoRA modules and the base models are hosted by service providers who may not be allowed to host proprietary client task data. To address this challenge, we propose Trans-LoRA -- a novel method for lossless, nearly data-free transfer of LoRAs across base models. Our approach relies on synthetic data to transfer LoRA modules. Using large language models, we design a synthetic data generator to approximate the data-generating process of the observed task data subset. Training on the resulting synthetic dataset transfers LoRA modules to new models. We show the effectiveness of our approach using both LLama and Gemma model families. Our approach achieves lossless (mostly improved) LoRA transfer between models within and across different base model families, and even between different PEFT methods, on a wide variety of tasks.