ZipLoRA：効果的なLoRAの統合による任意の主題とスタイルの実現

ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs

November 22, 2023

著者: Viraj Shah, Nataniel Ruiz, Forrester Cole, Erika Lu, Svetlana Lazebnik, Yuanzhen Li, Varun Jampani

cs.AI

要旨

概念駆動パーソナライゼーションのための生成モデルファインチューニング手法は、一般に被写体駆動またはスタイル駆動生成において強力な結果を達成する。近年、低ランク適応（LoRA）がパラメータ効率の良い概念駆動パーソナライゼーション実現法として提案されている。学習済みスタイルと被写体の統合生成を実現するために個別のLoRAを組み合わせる近年の研究が進む中、既存技術はこの問題を確実に解決できておらず、被写体の再現性またはスタイルの再現性のいずれかを損なう場合が多い。本論文では、ユーザーが提供した任意の被写体を任意のスタイルで生成するために、独立して学習したスタイルLoRAと被写体LoRAを低コストかつ効果的に統合する手法ZipLoRAを提案する。多様な被写体とスタイルの組み合わせによる実験結果から、ZipLoRAが文脈再構成能力を維持しつつ、被写体とスタイルの再現性においてベースラインを上回る有意な改善を示し、説得力のある結果を生成できることが実証された。プロジェクトページ：https://ziplora.github.io

English

Methods for finetuning generative models for concept-driven personalization generally achieve strong results for subject-driven or style-driven generation. Recently, low-rank adaptations (LoRA) have been proposed as a parameter-efficient way of achieving concept-driven personalization. While recent work explores the combination of separate LoRAs to achieve joint generation of learned styles and subjects, existing techniques do not reliably address the problem; they often compromise either subject fidelity or style fidelity. We propose ZipLoRA, a method to cheaply and effectively merge independently trained style and subject LoRAs in order to achieve generation of any user-provided subject in any user-provided style. Experiments on a wide range of subject and style combinations show that ZipLoRA can generate compelling results with meaningful improvements over baselines in subject and style fidelity while preserving the ability to recontextualize. Project page: https://ziplora.github.io