Toutes les couches ne sont pas égales : Rangs adaptatifs de LoRA pour la génération d'images personnalisées
Not All Layers Are Created Equal: Adaptive LoRA Ranks for Personalized Image Generation
March 23, 2026
Auteurs: Donald Shenaj, Federico Errica, Antonio Carta
cs.AI
Résumé
L'adaptation à faible rang (LoRA) est la stratégie de réglage fin de facto pour générer des images personnalisées à partir de modèles de diffusion pré-entraînés. Le choix d'un bon rang est extrêmement critique, car il représente un compromis entre les performances et la consommation de mémoire, mais aujourd'hui, cette décision est souvent laissée au consensus de la communauté, indépendamment de la complexité du sujet à personnaliser. La raison est évidente : le coût de sélection d'un bon rang pour chaque composant LoRA est combinatoire, ce qui nous amène à opter pour des raccourcis pratiques comme fixer le même rang pour tous les composants. Dans cet article, nous franchissons une première étape pour surmonter ce défi. Inspirés par les méthodes variationnelles qui apprennent une largeur adaptative des réseaux de neurones, nous laissons les rangs de chaque couche s'adapter librement lors du réglage fin sur un sujet. Nous y parvenons en imposant un ordre d'importance sur les positions du rang, encourageant effectivement la création de rangs plus élevés uniquement lorsque cela est strictement nécessaire. Qualitativement et quantitativement, notre approche, LoRA^2, atteint un compromis compétitif entre DINO, CLIP-I et CLIP-T sur 29 sujets, tout en nécessitant beaucoup moins de mémoire et un rang inférieur aux versions LoRA à haut rang. Code : https://github.com/donaldssh/NotAllLayersAreCreatedEqual.
English
Low Rank Adaptation (LoRA) is the de facto fine-tuning strategy to generate personalized images from pre-trained diffusion models. Choosing a good rank is extremely critical, since it trades off performance and memory consumption, but today the decision is often left to the community's consensus, regardless of the personalized subject's complexity. The reason is evident: the cost of selecting a good rank for each LoRA component is combinatorial, so we opt for practical shortcuts such as fixing the same rank for all components. In this paper, we take a first step to overcome this challenge. Inspired by variational methods that learn an adaptive width of neural networks, we let the ranks of each layer freely adapt during fine-tuning on a subject. We achieve it by imposing an ordering of importance on the rank's positions, effectively encouraging the creation of higher ranks when strictly needed. Qualitatively and quantitatively, our approach, LoRA^2, achieves a competitive trade-off between DINO, CLIP-I, and CLIP-T across 29 subjects while requiring much less memory and lower rank than high rank LoRA versions. Code: https://github.com/donaldssh/NotAllLayersAreCreatedEqual.