ZipLoRA：あらゆる主題をあらゆるスタイルで効果的に融合するLoRAの統合

ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs

November 22, 2023

著者: Viraj Shah, Nataniel Ruiz, Forrester Cole, Erika Lu, Svetlana Lazebnik, Yuanzhen Li, Varun Jampani

cs.AI

要旨

概念駆動型パーソナライゼーションのための生成モデルのファインチューニング手法は、一般的に被写体駆動またはスタイル駆動の生成において強力な結果を達成します。最近、低ランク適応（LoRA）が、概念駆動型パーソナライゼーションを効率的に実現する方法として提案されました。最近の研究では、学習されたスタイルと被写体の共同生成を達成するために、個別のLoRAを組み合わせる方法が探求されていますが、既存の技術はこの問題を確実に解決するものではありません。それらはしばしば被写体の忠実度またはスタイルの忠実度のいずれかを犠牲にします。我々は、ZipLoRAを提案します。これは、独立して訓練されたスタイルと被写体のLoRAを安価かつ効果的に統合し、ユーザーが提供した任意の被写体を任意のスタイルで生成することを可能にする方法です。さまざまな被写体とスタイルの組み合わせに関する実験では、ZipLoRAがベースラインを上回る被写体とスタイルの忠実度を維持しつつ、再文脈化の能力を保持した説得力のある結果を生成できることが示されています。プロジェクトページ：https://ziplora.github.io

English

Methods for finetuning generative models for concept-driven personalization generally achieve strong results for subject-driven or style-driven generation. Recently, low-rank adaptations (LoRA) have been proposed as a parameter-efficient way of achieving concept-driven personalization. While recent work explores the combination of separate LoRAs to achieve joint generation of learned styles and subjects, existing techniques do not reliably address the problem; they often compromise either subject fidelity or style fidelity. We propose ZipLoRA, a method to cheaply and effectively merge independently trained style and subject LoRAs in order to achieve generation of any user-provided subject in any user-provided style. Experiments on a wide range of subject and style combinations show that ZipLoRA can generate compelling results with meaningful improvements over baselines in subject and style fidelity while preserving the ability to recontextualize. Project page: https://ziplora.github.io