すべての層が平等ではない：パーソナライズド画像生成のための適応的LoRAランク

要旨

Low Rank Adaptation (LoRA) は、事前学習済み拡散モデルから個人化された画像を生成するためのデファクトスタンダードなファインチューニング手法である。性能とメモリ消費量のトレードオフを考慮すると、適切なランクの選択は極めて重要であるが、現在では個人化対象の複雑さに関わらず、コミュニティの合意に基づいて決定されることが多い。その理由は明らかである。各LoRAコンポーネントに対して良いランクを選択するコストは組み合わせ爆発的に増大するため、すべてのコンポーネントに同じランクを固定するといった実用的な近道が採られる。本論文では、この課題を克服するための第一歩を踏み出す。ニューラルネットワークの適応的幅を学習する変分法に着想を得て、対象に対するファインチューニング中に各層のランクを自由に適応させる手法を提案する。これは、ランクの位置に重要性の順序付けを課すことで実現し、真に必要な場合にのみ高いランクが形成されるよう効果的に促す。定性的・定量的に、我々の手法であるLoRA^2は、29の対象においてDINO、CLIP-I、CLIP-Tの間で競争力のあるトレードオフを達成し、高ランク版LoRAと比べてはるかに少ないメモリと低いランクを必要とする。コード: https://github.com/donaldssh/NotAllLayersAreCreatedEqual。

English

Low Rank Adaptation (LoRA) is the de facto fine-tuning strategy to generate personalized images from pre-trained diffusion models. Choosing a good rank is extremely critical, since it trades off performance and memory consumption, but today the decision is often left to the community's consensus, regardless of the personalized subject's complexity. The reason is evident: the cost of selecting a good rank for each LoRA component is combinatorial, so we opt for practical shortcuts such as fixing the same rank for all components. In this paper, we take a first step to overcome this challenge. Inspired by variational methods that learn an adaptive width of neural networks, we let the ranks of each layer freely adapt during fine-tuning on a subject. We achieve it by imposing an ordering of importance on the rank's positions, effectively encouraging the creation of higher ranks when strictly needed. Qualitatively and quantitatively, our approach, LoRA^2, achieves a competitive trade-off between DINO, CLIP-I, and CLIP-T across 29 subjects while requiring much less memory and lower rank than high rank LoRA versions. Code: https://github.com/donaldssh/NotAllLayersAreCreatedEqual.

すべての層が平等ではない：パーソナライズド画像生成のための適応的LoRAランク

Not All Layers Are Created Equal: Adaptive LoRA Ranks for Personalized Image Generation

要旨

Support