Niet Alle Lagen Zijn Gelijk: Adaptieve LoRA-Rangen voor Gepersonaliseerde Beeldgeneratie
Not All Layers Are Created Equal: Adaptive LoRA Ranks for Personalized Image Generation
March 23, 2026
Auteurs: Donald Shenaj, Federico Errica, Antonio Carta
cs.AI
Samenvatting
Low Rank Adaptation (LoRA) is de facto de fijnafstemmingsstrategie om gepersonaliseerde afbeeldingen te genereren uit vooraf getrainde diffusiemodellen. Het kiezen van een goede rang (rank) is uiterst kritiek, omdat het een afweging vormt tussen prestaties en geheugengebruik. Toch wordt deze beslissing tegenwoordig vaak overgelaten aan de consensus binnen de gemeenschap, ongeacht de complexiteit van het gepersonaliseerde onderwerp. De reden is duidelijk: de kosten voor het selecteren van een goede rang voor elke LoRA-component zijn combinatorisch, waardoor we kiezen voor praktische oplossingen, zoals het vaststellen van dezelfde rang voor alle componenten. In dit artikel zetten we een eerste stap om deze uitdaging te overwinnen. Geïnspireerd door variationele methoden die een adaptieve breedte van neurale netwerken leren, laten we de rang van elke laag vrij aanpassen tijdens het fijnafstemmen op een onderwerp. We bereiken dit door een ordening van belangrijkheid op te leggen aan de posities binnen de rang, waardoor effectief wordt aangemoedigd om hogere rangen te creëren wanneer dit strikt nodig is. Kwalitatief en kwantitatief bereikt onze aanpak, LoRA^2, een competitieve afweging tussen DINO, CLIP-I en CLIP-T over 29 onderwerpen, terwijl aanzienlijk minder geheugen en een lagere rang nodig zijn dan bij LoRA-versies met een hoge rang. Code: https://github.com/donaldssh/NotAllLayersAreCreatedEqual.
English
Low Rank Adaptation (LoRA) is the de facto fine-tuning strategy to generate personalized images from pre-trained diffusion models. Choosing a good rank is extremely critical, since it trades off performance and memory consumption, but today the decision is often left to the community's consensus, regardless of the personalized subject's complexity. The reason is evident: the cost of selecting a good rank for each LoRA component is combinatorial, so we opt for practical shortcuts such as fixing the same rank for all components. In this paper, we take a first step to overcome this challenge. Inspired by variational methods that learn an adaptive width of neural networks, we let the ranks of each layer freely adapt during fine-tuning on a subject. We achieve it by imposing an ordering of importance on the rank's positions, effectively encouraging the creation of higher ranks when strictly needed. Qualitatively and quantitatively, our approach, LoRA^2, achieves a competitive trade-off between DINO, CLIP-I, and CLIP-T across 29 subjects while requiring much less memory and lower rank than high rank LoRA versions. Code: https://github.com/donaldssh/NotAllLayersAreCreatedEqual.