Non Tutti Gli Strati Sono Uguali: Rank Adattivi di LoRA per la Generazione Personalizzata di Immagini
Not All Layers Are Created Equal: Adaptive LoRA Ranks for Personalized Image Generation
March 23, 2026
Autori: Donald Shenaj, Federico Errica, Antonio Carta
cs.AI
Abstract
La Low Rank Adaptation (LoRA) è la strategia di fine-tuning *de facto* per generare immagini personalizzate a partire da modelli di diffusione pre-addestrati. La scelta di un rango appropriato è estremamente critica, poiché bilancia prestazioni e consumo di memoria, ma attualmente questa decisione è spesso lasciata al consenso della comunità, indipendentemente dalla complessità del soggetto da personalizzare. La ragione è evidente: il costo per selezionare un buon rango per ogni componente LoRA è combinatorio, quindi si opta per soluzioni pratiche come fissare lo stesso rango per tutti i componenti. In questo articolo, compiamo un primo passo per superare questa sfida. Ispirati dai metodi variazionali che apprendono una larghezza adattiva delle reti neurali, lasciamo che i ranghi di ogni livello si adattino liberamente durante il fine-tuning su un soggetto. Raggiungiamo questo obiettivo imponendo un ordinamento di importanza sulle posizioni del rango, incoraggiando efficacemente la creazione di ranghi più alti solo quando strettamente necessario. Qualitativamente e quantitativamente, il nostro approccio, LoRA^2, raggiunge un compromesso competitivo tra DINO, CLIP-I e CLIP-T su 29 soggetti, richiedendo al contempo molta meno memoria e un rango inferiore rispetto alle versioni LoRA con rango elevato. Codice: https://github.com/donaldssh/NotAllLayersAreCreatedEqual.
English
Low Rank Adaptation (LoRA) is the de facto fine-tuning strategy to generate personalized images from pre-trained diffusion models. Choosing a good rank is extremely critical, since it trades off performance and memory consumption, but today the decision is often left to the community's consensus, regardless of the personalized subject's complexity. The reason is evident: the cost of selecting a good rank for each LoRA component is combinatorial, so we opt for practical shortcuts such as fixing the same rank for all components. In this paper, we take a first step to overcome this challenge. Inspired by variational methods that learn an adaptive width of neural networks, we let the ranks of each layer freely adapt during fine-tuning on a subject. We achieve it by imposing an ordering of importance on the rank's positions, effectively encouraging the creation of higher ranks when strictly needed. Qualitatively and quantitatively, our approach, LoRA^2, achieves a competitive trade-off between DINO, CLIP-I, and CLIP-T across 29 subjects while requiring much less memory and lower rank than high rank LoRA versions. Code: https://github.com/donaldssh/NotAllLayersAreCreatedEqual.