ZipLoRA: Qualsiasi Soggetto in Qualsiasi Stile attraverso l'Efficace Fusione di LoRA
ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs
November 22, 2023
Autori: Viraj Shah, Nataniel Ruiz, Forrester Cole, Erika Lu, Svetlana Lazebnik, Yuanzhen Li, Varun Jampani
cs.AI
Abstract
I metodi per il fine-tuning di modelli generativi per la personalizzazione guidata da concetti
ottengono generalmente risultati solidi per la generazione guidata da soggetti o stili.
Recentemente, sono state proposte adattamenti a basso rango (LoRA) come un approccio
efficiente in termini di parametri per raggiungere la personalizzazione guidata da concetti. Mentre
lavori recenti esplorano la combinazione di LoRA separati per ottenere la generazione congiunta
di stili e soggetti appresi, le tecniche esistenti non affrontano in modo affidabile il problema;
spesso compromettono la fedeltà al soggetto o allo stile. Proponiamo ZipLoRA, un metodo per unire
in modo economico ed efficace LoRA di stile e soggetto addestrati in modo indipendente, al fine di ottenere la generazione di
qualsiasi soggetto fornito dall'utente in qualsiasi stile fornito dall'utente. Esperimenti su un'ampia
gamma di combinazioni di soggetti e stili dimostrano che ZipLoRA può generare
risultati convincenti con miglioramenti significativi rispetto ai baseline nella fedeltà al soggetto e allo stile, preservando la capacità di ricontestualizzare. Pagina del progetto:
https://ziplora.github.io
English
Methods for finetuning generative models for concept-driven personalization
generally achieve strong results for subject-driven or style-driven generation.
Recently, low-rank adaptations (LoRA) have been proposed as a
parameter-efficient way of achieving concept-driven personalization. While
recent work explores the combination of separate LoRAs to achieve joint
generation of learned styles and subjects, existing techniques do not reliably
address the problem; they often compromise either subject fidelity or style
fidelity. We propose ZipLoRA, a method to cheaply and effectively merge
independently trained style and subject LoRAs in order to achieve generation of
any user-provided subject in any user-provided style. Experiments on a wide
range of subject and style combinations show that ZipLoRA can generate
compelling results with meaningful improvements over baselines in subject and
style fidelity while preserving the ability to recontextualize. Project page:
https://ziplora.github.io