모든 계층이 동일하지는 않다: 개인화된 이미지 생성을 위한 적응형 LoRA 계층 순위

Not All Layers Are Created Equal: Adaptive LoRA Ranks for Personalized Image Generation

March 23, 2026

저자: Donald Shenaj, Federico Errica, Antonio Carta

cs.AI

초록

LoRA(Low Rank Adaptation)는 사전 학습된 확산 모델로부터 개인화된 이미지를 생성하기 위한 사실상 표준 미세 조정 전략입니다. 적절한 랭크 선택은 성능과 메모리 사용량을 절충하기 때문에 매우 중요하지만, 현재는 개인화 대상의 복잡도와 관계없이 커뮤니티의 합의에 따라 결정되는 경우가 많습니다. 그 이유는 명백한데, 각 LoRA 구성 요소에 대한 적절한 랭크 선택 비용이 조합적으로 증가하기 때문에 모든 구성 요소에 동일한 랭크를 고정하는 실용적인 지름길을 선택하기 때문입니다. 본 논문에서는 이러한 문제를 해결하기 위한 첫걸음을 내디뎠습니다. 신경망의 적응형 폭을 학습하는 변분 방법에서 영감을 받아, 대상에 대한 미세 조정 동안 각 계층의 랭크가 자유롭게 적응하도록 합니다. 이를 위해 랭크 위치에 중요도 순서를 부여하여 엄밀히 필요할 때만 더 높은 랭크가 생성되도록 효과적으로 유도합니다. 정성적 및 정량적 평가에서 우리의 접근법인 LoRA^2는 29개 대상에 걸쳐 DINO, CLIP-I, CLIP-T 지표에서 경쟁력 있는 절충 성능을 달성하면서도 높은 랭크를 가진 LoRA 버전보다 훨씬 적은 메모리와 더 낮은 랭크를 요구합니다. 코드: https://github.com/donaldssh/NotAllLayersAreCreatedEqual.

English

Low Rank Adaptation (LoRA) is the de facto fine-tuning strategy to generate personalized images from pre-trained diffusion models. Choosing a good rank is extremely critical, since it trades off performance and memory consumption, but today the decision is often left to the community's consensus, regardless of the personalized subject's complexity. The reason is evident: the cost of selecting a good rank for each LoRA component is combinatorial, so we opt for practical shortcuts such as fixing the same rank for all components. In this paper, we take a first step to overcome this challenge. Inspired by variational methods that learn an adaptive width of neural networks, we let the ranks of each layer freely adapt during fine-tuning on a subject. We achieve it by imposing an ordering of importance on the rank's positions, effectively encouraging the creation of higher ranks when strictly needed. Qualitatively and quantitatively, our approach, LoRA^2, achieves a competitive trade-off between DINO, CLIP-I, and CLIP-T across 29 subjects while requiring much less memory and lower rank than high rank LoRA versions. Code: https://github.com/donaldssh/NotAllLayersAreCreatedEqual.