Trans-LoRA: к параметру, обеспечивающему передачу данных без обучающего набора для эффективного донастройки.

Trans-LoRA: towards data-free Transferable Parameter Efficient Finetuning

May 27, 2024

Авторы: Runqian Wang, Soumya Ghosh, David Cox, Diego Antognini, Aude Oliva, Rogerio Feris, Leonid Karlinsky

cs.AI

Аннотация

Адаптеры низкого ранга (Low-rank adapters, LoRA) и их варианты являются популярными техниками эффективной настройки параметров (Parameter-efficient fine-tuning, PEFT), которые тесно соответствуют производительности полной модели после тонкой настройки, требуя лишь небольшого количества дополнительных параметров. Эти дополнительные параметры LoRA специфичны для базовой модели, к которой они применяются. Когда базовая модель требуется устареть и заменить новой, все связанные с ней модули LoRA должны быть переобучены. Для такого повторного обучения необходим доступ к данным, использованным для обучения LoRA для исходной базовой модели. Это особенно проблематично для коммерческих облачных приложений, где модули LoRA и базовые модели размещаются у поставщиков услуг, которым может быть запрещено хранить конфиденциальные данные клиентов. Для решения этой проблемы мы предлагаем Trans-LoRA - новый метод для без потерь, почти бездатасетного переноса LoRA между базовыми моделями. Наш подход основан на использовании синтетических данных для передачи модулей LoRA. С помощью крупных языковых моделей мы разрабатываем генератор синтетических данных для приближения процесса генерации данных наблюдаемого подмножества задач. Обучение на полученном синтетическом наборе данных позволяет передавать модули LoRA новым моделям. Мы демонстрируем эффективность нашего подхода, используя семейства моделей LLama и Gemma. Наш подход обеспечивает без потерь (в основном улучшенный) перенос LoRA между моделями внутри и между различными семействами базовых моделей, а также между различными методами PEFT на широком спектре задач.

English

Low-rank adapters (LoRA) and their variants are popular parameter-efficient fine-tuning (PEFT) techniques that closely match full model fine-tune performance while requiring only a small number of additional parameters. These additional LoRA parameters are specific to the base model being adapted. When the base model needs to be deprecated and replaced with a new one, all the associated LoRA modules need to be re-trained. Such re-training requires access to the data used to train the LoRA for the original base model. This is especially problematic for commercial cloud applications where the LoRA modules and the base models are hosted by service providers who may not be allowed to host proprietary client task data. To address this challenge, we propose Trans-LoRA -- a novel method for lossless, nearly data-free transfer of LoRAs across base models. Our approach relies on synthetic data to transfer LoRA modules. Using large language models, we design a synthetic data generator to approximate the data-generating process of the observed task data subset. Training on the resulting synthetic dataset transfers LoRA modules to new models. We show the effectiveness of our approach using both LLama and Gemma model families. Our approach achieves lossless (mostly improved) LoRA transfer between models within and across different base model families, and even between different PEFT methods, on a wide variety of tasks.