ZipLoRA: Qualquer Assunto em Qualquer Estilo através da Fusão Eficiente de LoRAs
ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs
November 22, 2023
Autores: Viraj Shah, Nataniel Ruiz, Forrester Cole, Erika Lu, Svetlana Lazebnik, Yuanzhen Li, Varun Jampani
cs.AI
Resumo
Métodos para ajuste fino de modelos generativos para personalização orientada por conceitos geralmente alcançam resultados robustos para geração orientada por assunto ou estilo. Recentemente, adaptações de baixo posto (LoRA) foram propostas como uma forma eficiente em termos de parâmetros de alcançar personalização orientada por conceitos. Embora trabalhos recentes explorem a combinação de LoRAs separadas para alcançar a geração conjunta de estilos e assuntos aprendidos, as técnicas existentes não abordam o problema de forma confiável; elas frequentemente comprometem a fidelidade ao assunto ou a fidelidade ao estilo. Propomos o ZipLoRA, um método para mesclar de forma barata e eficaz LoRAs de estilo e assunto treinadas independentemente, a fim de alcançar a geração de qualquer assunto fornecido pelo usuário em qualquer estilo fornecido pelo usuário. Experimentos em uma ampla gama de combinações de assunto e estilo mostram que o ZipLoRA pode gerar resultados convincentes com melhorias significativas em relação às baselines em fidelidade ao assunto e ao estilo, preservando a capacidade de recontextualização. Página do projeto: https://ziplora.github.io
English
Methods for finetuning generative models for concept-driven personalization
generally achieve strong results for subject-driven or style-driven generation.
Recently, low-rank adaptations (LoRA) have been proposed as a
parameter-efficient way of achieving concept-driven personalization. While
recent work explores the combination of separate LoRAs to achieve joint
generation of learned styles and subjects, existing techniques do not reliably
address the problem; they often compromise either subject fidelity or style
fidelity. We propose ZipLoRA, a method to cheaply and effectively merge
independently trained style and subject LoRAs in order to achieve generation of
any user-provided subject in any user-provided style. Experiments on a wide
range of subject and style combinations show that ZipLoRA can generate
compelling results with meaningful improvements over baselines in subject and
style fidelity while preserving the ability to recontextualize. Project page:
https://ziplora.github.io