ZipLoRA: Jedes Motiv in jedem Stil durch effektives Zusammenführen von LoRAs
ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs
November 22, 2023
Autoren: Viraj Shah, Nataniel Ruiz, Forrester Cole, Erika Lu, Svetlana Lazebnik, Yuanzhen Li, Varun Jampani
cs.AI
Zusammenfassung
Methoden zur Feinabstimmung generativer Modelle für konzeptgetriebene Personalisierung
erzielen im Allgemeinen starke Ergebnisse bei der subjekt- oder stilgetriebenen Generierung.
Kürzlich wurden Low-Rank-Adaptationen (LoRA) als ein
parameter-effizienter Weg zur Erreichung konzeptgetriebener Personalisierung vorgeschlagen. Während
aktuelle Arbeiten die Kombination separater LoRAs zur gemeinsamen
Generierung erlernter Stile und Subjekte untersuchen, lösen bestehende Techniken das Problem nicht zuverlässig;
sie beeinträchtigen oft entweder die Subjekttreue oder die Stiltreue. Wir schlagen ZipLoRA vor, eine Methode zur kostengünstigen und effektiven Zusammenführung
unabhängig trainierter Stil- und Subjekt-LoRAs, um die Generierung von
beliebigen benutzerdefinierten Subjekten in beliebigen benutzerdefinierten Stilen zu ermöglichen. Experimente mit einer Vielzahl
von Subjekt- und Stilkombinationen zeigen, dass ZipLoRA überzeugende Ergebnisse mit signifikanten Verbesserungen gegenüber den Baselines in Bezug auf Subjekt- und
Stiltreue erzeugen kann, während die Fähigkeit zur Rekontextualisierung erhalten bleibt. Projektseite:
https://ziplora.github.io
English
Methods for finetuning generative models for concept-driven personalization
generally achieve strong results for subject-driven or style-driven generation.
Recently, low-rank adaptations (LoRA) have been proposed as a
parameter-efficient way of achieving concept-driven personalization. While
recent work explores the combination of separate LoRAs to achieve joint
generation of learned styles and subjects, existing techniques do not reliably
address the problem; they often compromise either subject fidelity or style
fidelity. We propose ZipLoRA, a method to cheaply and effectively merge
independently trained style and subject LoRAs in order to achieve generation of
any user-provided subject in any user-provided style. Experiments on a wide
range of subject and style combinations show that ZipLoRA can generate
compelling results with meaningful improvements over baselines in subject and
style fidelity while preserving the ability to recontextualize. Project page:
https://ziplora.github.io