Trans-LoRA: Rumo à Afinação Eficiente de Parâmetros Transferíveis sem Dados

Trans-LoRA: towards data-free Transferable Parameter Efficient Finetuning

May 27, 2024

Autores: Runqian Wang, Soumya Ghosh, David Cox, Diego Antognini, Aude Oliva, Rogerio Feris, Leonid Karlinsky

cs.AI

Resumo

Adaptadores de baixo rank (LoRA) e suas variantes são técnicas populares de ajuste fino com eficiência de parâmetros (PEFT) que se aproximam muito do desempenho do ajuste fino completo do modelo, exigindo apenas um pequeno número de parâmetros adicionais. Esses parâmetros adicionais do LoRA são específicos para o modelo base que está sendo adaptado. Quando o modelo base precisa ser descontinuado e substituído por um novo, todos os módulos LoRA associados precisam ser retreinados. Esse retreinamento exige acesso aos dados usados para treinar o LoRA para o modelo base original. Isso é especialmente problemático para aplicações comerciais em nuvem, onde os módulos LoRA e os modelos base são hospedados por provedores de serviços que podem não ter permissão para hospedar dados de tarefas proprietários dos clientes. Para enfrentar esse desafio, propomos o Trans-LoRA — um método novo para transferência sem perdas e quase sem dados de LoRAs entre modelos base. Nossa abordagem depende de dados sintéticos para transferir módulos LoRA. Usando modelos de linguagem de grande escala, projetamos um gerador de dados sintéticos para aproximar o processo de geração de dados do subconjunto de dados da tarefa observada. O treinamento no conjunto de dados sintéticos resultante transfere os módulos LoRA para novos modelos. Demonstramos a eficácia de nossa abordagem usando as famílias de modelos LLama e Gemma. Nossa abordagem alcança transferência de LoRA sem perdas (na maioria dos casos, melhorada) entre modelos dentro e entre diferentes famílias de modelos base, e até mesmo entre diferentes métodos PEFT, em uma ampla variedade de tarefas.

English

Low-rank adapters (LoRA) and their variants are popular parameter-efficient fine-tuning (PEFT) techniques that closely match full model fine-tune performance while requiring only a small number of additional parameters. These additional LoRA parameters are specific to the base model being adapted. When the base model needs to be deprecated and replaced with a new one, all the associated LoRA modules need to be re-trained. Such re-training requires access to the data used to train the LoRA for the original base model. This is especially problematic for commercial cloud applications where the LoRA modules and the base models are hosted by service providers who may not be allowed to host proprietary client task data. To address this challenge, we propose Trans-LoRA -- a novel method for lossless, nearly data-free transfer of LoRAs across base models. Our approach relies on synthetic data to transfer LoRA modules. Using large language models, we design a synthetic data generator to approximate the data-generating process of the observed task data subset. Training on the resulting synthetic dataset transfers LoRA modules to new models. We show the effectiveness of our approach using both LLama and Gemma model families. Our approach achieves lossless (mostly improved) LoRA transfer between models within and across different base model families, and even between different PEFT methods, on a wide variety of tasks.