ZipLoRA: Elk Onderwerp in Elke Stijl door Effectief Samenvoegen van LoRA's

ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs

November 22, 2023

Auteurs: Viraj Shah, Nataniel Ruiz, Forrester Cole, Erika Lu, Svetlana Lazebnik, Yuanzhen Li, Varun Jampani

cs.AI

Samenvatting

Methoden voor het finetunen van generatieve modellen voor conceptgestuurde personalisatie bereiken over het algemeen sterke resultaten voor onderwerpgestuurde of stijlgestuurde generatie. Recentelijk zijn low-rank-aanpassingen (LoRA) voorgesteld als een parameter-efficiënte manier om conceptgestuurde personalisatie te bereiken. Hoewel recent onderzoek de combinatie van afzonderlijke LoRA's verkent om gezamenlijke generatie van geleerde stijlen en onderwerpen te bereiken, lossen bestaande technieken het probleem niet betrouwbaar op; ze gaan vaak ten koste van ofwel de trouw aan het onderwerp ofwel de trouw aan de stijl. Wij stellen ZipLoRA voor, een methode om op goedkope en effectieve wijze onafhankelijk getrainde stijl- en onderwerp-LoRA's samen te voegen om generatie van elk door de gebruiker opgegeven onderwerp in elke door de gebruiker opgegeven stijl te bereiken. Experimenten met een breed scala aan onderwerp- en stijlcombinaties laten zien dat ZipLoRA overtuigende resultaten kan genereren met significante verbeteringen ten opzichte van baseline-methoden in trouw aan onderwerp en stijl, terwijl het vermogen tot hercontextualisatie behouden blijft. Projectpagina: https://ziplora.github.io

English

Methods for finetuning generative models for concept-driven personalization generally achieve strong results for subject-driven or style-driven generation. Recently, low-rank adaptations (LoRA) have been proposed as a parameter-efficient way of achieving concept-driven personalization. While recent work explores the combination of separate LoRAs to achieve joint generation of learned styles and subjects, existing techniques do not reliably address the problem; they often compromise either subject fidelity or style fidelity. We propose ZipLoRA, a method to cheaply and effectively merge independently trained style and subject LoRAs in order to achieve generation of any user-provided subject in any user-provided style. Experiments on a wide range of subject and style combinations show that ZipLoRA can generate compelling results with meaningful improvements over baselines in subject and style fidelity while preserving the ability to recontextualize. Project page: https://ziplora.github.io