ZipLoRA: Cualquier tema en cualquier estilo mediante la fusión efectiva de LoRAs
ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs
November 22, 2023
Autores: Viraj Shah, Nataniel Ruiz, Forrester Cole, Erika Lu, Svetlana Lazebnik, Yuanzhen Li, Varun Jampani
cs.AI
Resumen
Los métodos para ajustar modelos generativos con fines de personalización basada en conceptos generalmente logran resultados sólidos en la generación orientada a sujetos o estilos. Recientemente, se han propuesto adaptaciones de bajo rango (LoRA) como una forma eficiente en parámetros para lograr la personalización basada en conceptos. Aunque trabajos recientes exploran la combinación de LoRAs separados para lograr la generación conjunta de estilos y sujetos aprendidos, las técnicas existentes no abordan de manera confiable el problema; a menudo comprometen la fidelidad del sujeto o la fidelidad del estilo. Proponemos ZipLoRA, un método para fusionar de manera económica y efectiva LoRAs de estilo y sujeto entrenados de forma independiente, con el fin de lograr la generación de cualquier sujeto proporcionado por el usuario en cualquier estilo proporcionado por el usuario. Los experimentos en una amplia gama de combinaciones de sujetos y estilos muestran que ZipLoRA puede generar resultados convincentes con mejoras significativas respecto a los baselines en la fidelidad del sujeto y el estilo, al tiempo que preserva la capacidad de recontextualizar. Página del proyecto: https://ziplora.github.io.
English
Methods for finetuning generative models for concept-driven personalization
generally achieve strong results for subject-driven or style-driven generation.
Recently, low-rank adaptations (LoRA) have been proposed as a
parameter-efficient way of achieving concept-driven personalization. While
recent work explores the combination of separate LoRAs to achieve joint
generation of learned styles and subjects, existing techniques do not reliably
address the problem; they often compromise either subject fidelity or style
fidelity. We propose ZipLoRA, a method to cheaply and effectively merge
independently trained style and subject LoRAs in order to achieve generation of
any user-provided subject in any user-provided style. Experiments on a wide
range of subject and style combinations show that ZipLoRA can generate
compelling results with meaningful improvements over baselines in subject and
style fidelity while preserving the ability to recontextualize. Project page:
https://ziplora.github.io