Trans-LoRA: Auf dem Weg zu datenfreiem übertragbarem Parameter effizientem Feintuning

Trans-LoRA: towards data-free Transferable Parameter Efficient Finetuning

May 27, 2024

Autoren: Runqian Wang, Soumya Ghosh, David Cox, Diego Antognini, Aude Oliva, Rogerio Feris, Leonid Karlinsky

cs.AI

Zusammenfassung

Low-Rank-Adapter (LoRA) und deren Varianten sind beliebte parameter-effiziente Feinabstimmungstechniken (PEFT), die die Leistung der vollständigen Modellfeinabstimmung genau nachbilden, während sie nur eine geringe Anzahl zusätzlicher Parameter erfordern. Diese zusätzlichen LoRA-Parameter sind spezifisch für das Basismodell, an das sie angepasst werden. Wenn das Basismodell veraltet ist und durch ein neues ersetzt werden muss, müssen alle zugehörigen LoRA-Module erneut trainiert werden. Ein solches erneutes Training erfordert Zugriff auf die Daten, die zur Schulung des LoRA für das ursprüngliche Basismodell verwendet wurden. Dies ist insbesondere problematisch für kommerzielle Cloud-Anwendungen, bei denen die LoRA-Module und die Basismodelle von Dienstanbietern gehostet werden, die möglicherweise nicht berechtigt sind, proprietäre Kundenaufgabendaten zu hosten. Um diese Herausforderung anzugehen, schlagen wir Trans-LoRA vor - eine neuartige Methode für den verlustfreien, nahezu datenfreien Transfer von LoRAs zwischen Basismodellen. Unser Ansatz basiert auf synthetischen Daten zur Übertragung von LoRA-Modulen. Unter Verwendung großer Sprachmodelle entwerfen wir einen synthetischen Datengenerator, um den Prozess der Datenerzeugung des beobachteten Teildatensatzes nachzubilden. Das Training auf dem resultierenden synthetischen Datensatz überträgt LoRA-Module auf neue Modelle. Wir zeigen die Wirksamkeit unseres Ansatzes anhand der LLama- und Gemma-Modellfamilien. Unser Ansatz erreicht einen verlustfreien (meist verbesserten) Transfer von LoRA zwischen Modellen innerhalb und zwischen verschiedenen Basismodellfamilien und sogar zwischen verschiedenen PEFT-Methoden für eine Vielzahl von Aufgaben.

English

Low-rank adapters (LoRA) and their variants are popular parameter-efficient fine-tuning (PEFT) techniques that closely match full model fine-tune performance while requiring only a small number of additional parameters. These additional LoRA parameters are specific to the base model being adapted. When the base model needs to be deprecated and replaced with a new one, all the associated LoRA modules need to be re-trained. Such re-training requires access to the data used to train the LoRA for the original base model. This is especially problematic for commercial cloud applications where the LoRA modules and the base models are hosted by service providers who may not be allowed to host proprietary client task data. To address this challenge, we propose Trans-LoRA -- a novel method for lossless, nearly data-free transfer of LoRAs across base models. Our approach relies on synthetic data to transfer LoRA modules. Using large language models, we design a synthetic data generator to approximate the data-generating process of the observed task data subset. Training on the resulting synthetic dataset transfers LoRA modules to new models. We show the effectiveness of our approach using both LLama and Gemma model families. Our approach achieves lossless (mostly improved) LoRA transfer between models within and across different base model families, and even between different PEFT methods, on a wide variety of tasks.