Trans-LoRA: 데이터 없이 전이 가능한 파라미터 효율적 미세조정을 향하여
Trans-LoRA: towards data-free Transferable Parameter Efficient Finetuning
May 27, 2024
저자: Runqian Wang, Soumya Ghosh, David Cox, Diego Antognini, Aude Oliva, Rogerio Feris, Leonid Karlinsky
cs.AI
초록
저순위 어댑터(LoRA)와 그 변형들은 전체 모델 미세 조정 성능에 근접하면서도 소수의 추가 파라미터만을 요구하는 인기 있는 파라미터 효율적 미세 조정(PEFT) 기술입니다. 이러한 추가 LoRA 파라미터는 적용되는 기본 모델에 특화되어 있습니다. 기본 모델이 폐기되고 새로운 모델로 교체되어야 할 때, 관련된 모든 LoRA 모듈을 재훈련해야 합니다. 이러한 재훈련은 원래 기본 모델에 대한 LoRA를 훈련하는 데 사용된 데이터에 대한 접근을 필요로 합니다. 이는 LoRA 모듈과 기본 모델이 서비스 제공자에 의해 호스팅되는 상용 클라우드 애플리케이션에서 특히 문제가 됩니다. 이러한 서비스 제공자는 고객의 독점 작업 데이터를 호스팅할 수 없을 가능성이 있습니다. 이러한 문제를 해결하기 위해, 우리는 Trans-LoRA를 제안합니다. 이는 기본 모델 간에 LoRA를 데이터 거의 없이 무손실로 전송하는 새로운 방법입니다. 우리의 접근 방식은 합성 데이터를 사용하여 LoRA 모듈을 전송합니다. 대규모 언어 모델을 사용하여 관찰된 작업 데이터 하위 집합의 데이터 생성 과정을 근사화하는 합성 데이터 생성기를 설계합니다. 결과적으로 생성된 합성 데이터셋에 대한 훈련을 통해 LoRA 모듈을 새로운 모델로 전송합니다. 우리는 LLama와 Gemma 모델 패밀리를 사용하여 우리의 접근 방식의 효과를 보여줍니다. 우리의 접근 방식은 다양한 작업에서 서로 다른 기본 모델 패밀리 내 및 간의 LoRA 전송을 무손실(대부분 개선된)로 달성하며, 심지어 서로 다른 PEFT 방법 간에도 가능합니다.
English
Low-rank adapters (LoRA) and their variants are popular parameter-efficient
fine-tuning (PEFT) techniques that closely match full model fine-tune
performance while requiring only a small number of additional parameters. These
additional LoRA parameters are specific to the base model being adapted. When
the base model needs to be deprecated and replaced with a new one, all the
associated LoRA modules need to be re-trained. Such re-training requires access
to the data used to train the LoRA for the original base model. This is
especially problematic for commercial cloud applications where the LoRA modules
and the base models are hosted by service providers who may not be allowed to
host proprietary client task data. To address this challenge, we propose
Trans-LoRA -- a novel method for lossless, nearly data-free transfer
of LoRAs across base models. Our approach relies on synthetic data to transfer
LoRA modules. Using large language models, we design a synthetic data generator
to approximate the data-generating process of the observed task data
subset. Training on the resulting synthetic dataset transfers LoRA modules to
new models. We show the effectiveness of our approach using both LLama and
Gemma model families. Our approach achieves lossless (mostly improved) LoRA
transfer between models within and across different base model families, and
even between different PEFT methods, on a wide variety of tasks.