ZipLoRA : Tout sujet dans n'importe quel style grâce à la fusion efficace de LoRAs
ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs
November 22, 2023
Auteurs: Viraj Shah, Nataniel Ruiz, Forrester Cole, Erika Lu, Svetlana Lazebnik, Yuanzhen Li, Varun Jampani
cs.AI
Résumé
Les méthodes pour affiner les modèles génératifs en vue d'une personnalisation axée sur les concepts obtiennent généralement des résultats solides pour la génération orientée par un sujet ou un style. Récemment, les adaptations de faible rang (LoRA) ont été proposées comme une approche économe en paramètres pour réaliser une personnalisation basée sur les concepts. Bien que des travaux récents explorent la combinaison de LoRAs distincts pour parvenir à une génération conjointe de styles et de sujets appris, les techniques existantes ne résolvent pas de manière fiable ce problème ; elles compromettent souvent soit la fidélité au sujet, soit la fidélité au style. Nous proposons ZipLoRA, une méthode permettant de fusionner de manière économique et efficace des LoRAs de style et de sujet entraînés indépendamment, afin de générer tout sujet fourni par l'utilisateur dans n'importe quel style fourni par l'utilisateur. Des expériences sur une large gamme de combinaisons de sujets et de styles montrent que ZipLoRA peut produire des résultats convaincants avec des améliorations significatives par rapport aux méthodes de référence en termes de fidélité au sujet et au style, tout en préservant la capacité à recontextualiser. Page du projet : https://ziplora.github.io
English
Methods for finetuning generative models for concept-driven personalization
generally achieve strong results for subject-driven or style-driven generation.
Recently, low-rank adaptations (LoRA) have been proposed as a
parameter-efficient way of achieving concept-driven personalization. While
recent work explores the combination of separate LoRAs to achieve joint
generation of learned styles and subjects, existing techniques do not reliably
address the problem; they often compromise either subject fidelity or style
fidelity. We propose ZipLoRA, a method to cheaply and effectively merge
independently trained style and subject LoRAs in order to achieve generation of
any user-provided subject in any user-provided style. Experiments on a wide
range of subject and style combinations show that ZipLoRA can generate
compelling results with meaningful improvements over baselines in subject and
style fidelity while preserving the ability to recontextualize. Project page:
https://ziplora.github.io