No Todas las Capas Son Iguales: Rangos Adaptativos de LoRA para la Generación Personalizada de Imágenes

Not All Layers Are Created Equal: Adaptive LoRA Ranks for Personalized Image Generation

March 23, 2026

Autores: Donald Shenaj, Federico Errica, Antonio Carta

cs.AI

Resumen

La Adaptación de Bajo Rango (LoRA) es la estrategia de ajuste fino por defecto para generar imágenes personalizadas a partir de modelos de difusión preentrenados. Elegir un rango (rank) adecuado es extremadamente crítico, ya que equilibra el rendimiento y el consumo de memoria, pero hoy en día esta decisión a menudo se deja al consenso de la comunidad, independientemente de la complejidad del sujeto a personalizar. La razón es evidente: el coste de seleccionar un buen rango para cada componente de LoRA es combinatorio, por lo que se opta por atajos prácticos como fijar el mismo rango para todos los componentes. En este artículo, damos un primer paso para superar este desafío. Inspirados por los métodos variacionales que aprenden un ancho adaptable de las redes neuronales, permitimos que los rangos de cada capa se adapten libremente durante el ajuste fino de un sujeto. Lo logramos imponiendo un orden de importancia en las posiciones del rango, fomentando efectivamente la creación de rangos más altos solo cuando son estrictamente necesarios. Cualitativa y cuantitativamente, nuestro enfoque, LoRA^2, logra un equilibrio competitivo entre DINO, CLIP-I y CLIP-T en 29 sujetos, mientras requiere mucha menos memoria y un rango más bajo que las versiones de LoRA con rangos altos. Código: https://github.com/donaldssh/NotAllLayersAreCreatedEqual.

English

Low Rank Adaptation (LoRA) is the de facto fine-tuning strategy to generate personalized images from pre-trained diffusion models. Choosing a good rank is extremely critical, since it trades off performance and memory consumption, but today the decision is often left to the community's consensus, regardless of the personalized subject's complexity. The reason is evident: the cost of selecting a good rank for each LoRA component is combinatorial, so we opt for practical shortcuts such as fixing the same rank for all components. In this paper, we take a first step to overcome this challenge. Inspired by variational methods that learn an adaptive width of neural networks, we let the ranks of each layer freely adapt during fine-tuning on a subject. We achieve it by imposing an ordering of importance on the rank's positions, effectively encouraging the creation of higher ranks when strictly needed. Qualitatively and quantitatively, our approach, LoRA^2, achieves a competitive trade-off between DINO, CLIP-I, and CLIP-T across 29 subjects while requiring much less memory and lower rank than high rank LoRA versions. Code: https://github.com/donaldssh/NotAllLayersAreCreatedEqual.