Не все слои одинаковы: адаптивные ранги LoRA для персонализированной генерации изображений

Not All Layers Are Created Equal: Adaptive LoRA Ranks for Personalized Image Generation

March 23, 2026

Авторы: Donald Shenaj, Federico Errica, Antonio Carta

cs.AI

Аннотация

Метод низкоранговой адаптации (LoRA) является де-факто стандартной стратегией тонкой настройки для генерации персонализированных изображений на основе предварительно обученных диффузионных моделей. Выбор подходящего ранга чрезвычайно важен, поскольку он позволяет балансировать между производительностью и потреблением памяти, однако на сегодняшний день это решение часто основывается на консенсусе в сообществе, без учета сложности персонализируемого объекта. Причина очевидна: стоимость подбора оптимального ранга для каждого компонента LoRA имеет комбинаторную сложность, поэтому на практике используются упрощенные подходы, такие как фиксация одинакового ранга для всех компонентов. В данной статье мы делаем первый шаг к преодолению этой проблемы. Вдохновленные вариационными методами, которые изучают адаптивную ширину нейронных сетей, мы позволяем рангам каждого слоя свободно адаптироваться в процессе тонкой настройки на конкретном объекте. Мы достигаем этого за счет введения упорядочивания важности позиций ранга, что эффективно стимулирует создание более высоких рангов только в случае действительной необходимости. Качественно и количественно наш метод, LoRA^2, демонстрирует конкурентоспособный баланс между метриками DINO, CLIP-I и CLIP-T на 29 объектах, требуя при этом значительно меньше памяти и более низкий ранг по сравнению с версиями LoRA с высоким рангом. Код: https://github.com/donaldssh/NotAllLayersAreCreatedEqual.

English

Low Rank Adaptation (LoRA) is the de facto fine-tuning strategy to generate personalized images from pre-trained diffusion models. Choosing a good rank is extremely critical, since it trades off performance and memory consumption, but today the decision is often left to the community's consensus, regardless of the personalized subject's complexity. The reason is evident: the cost of selecting a good rank for each LoRA component is combinatorial, so we opt for practical shortcuts such as fixing the same rank for all components. In this paper, we take a first step to overcome this challenge. Inspired by variational methods that learn an adaptive width of neural networks, we let the ranks of each layer freely adapt during fine-tuning on a subject. We achieve it by imposing an ordering of importance on the rank's positions, effectively encouraging the creation of higher ranks when strictly needed. Qualitatively and quantitatively, our approach, LoRA^2, achieves a competitive trade-off between DINO, CLIP-I, and CLIP-T across 29 subjects while requiring much less memory and lower rank than high rank LoRA versions. Code: https://github.com/donaldssh/NotAllLayersAreCreatedEqual.