Разделение углов и силы в низкоранговой адаптации

Decoupling Angles and Strength in Low-rank Adaptation

March 23, 2025

Авторы: Massimo Bini, Leander Girrbach, Zeynep Akata

cs.AI

Аннотация

Методы параметрически-эффективной тонкой настройки (PEFT) в последнее время приобрели значительную популярность благодаря широкой доступности крупномасштабных предобученных моделей. Эти методы позволяют быстро адаптироваться к целевым задачам с минимальными вычислительными затратами. Однако популярные методы тонкой настройки, такие как LoRA, демонстрируют ограниченную устойчивость при выборе гиперпараметров или в условиях продолжительного обучения, что препятствует оптимальной производительности "из коробки". В отличие от них, ограниченные подходы, такие как ETHER, обеспечивают большую устойчивость, но ограничены крайне низкоранговыми адаптациями и фиксированными по силе преобразованиями, что снижает их выразительную способность к адаптации. В данной работе мы предлагаем Decoupled Low-rank Adaptation (DeLoRA) — новый метод тонкой настройки, который нормализует и масштабирует обучаемые низкоранговые матрицы. Ограничивая расстояние преобразования, DeLoRA эффективно разделяет угловое обучение и силу адаптации, повышая устойчивость без ущерба для производительности. В ходе оценок на задачах генерации изображений, ориентированных на объект, понимания естественного языка и настройки инструкций мы показываем, что DeLoRA соответствует или превосходит производительность конкурирующих методов PEFT, демонстрируя при этом более высокую устойчивость. Код доступен по адресу https://github.com/ExplainableML/DeLoRA.

English

Parameter-Efficient FineTuning (PEFT) methods have recently gained significant popularity thanks to the widespread availability of large-scale pretrained models. These methods allow for quick adaptation to downstream tasks with minimal computational cost. However, popular finetuning methods such as LoRA exhibit limited robustness when it comes to hyperparameter choices or extended training regimes, preventing optimal out-of-the-box performance. In contrast, bounded approaches, such as ETHER, provide greater robustness but are limited to extremely low-rank adaptations and fixed-strength transformations, reducing their adaptation expressive power. In this work, we propose Decoupled Low-rank Adaptation (DeLoRA), a novel finetuning method that normalizes and scales learnable low-rank matrices. By bounding the distance of the transformation, DeLoRA effectively decouples the angular learning from the adaptation strength, enhancing robustness without compromising performance. Through evaluations on subject-driven image generation, natural language understanding, and instruction tuning, we show that DeLoRA matches or surpasses performance of competing PEFT methods, while exhibiting stronger robustness. Code is available at https://github.com/ExplainableML/DeLoRA.