ZipLoRA: Любой объект в любом стиле за счет эффективного объединения LoRA
ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs
November 22, 2023
Авторы: Viraj Shah, Nataniel Ruiz, Forrester Cole, Erika Lu, Svetlana Lazebnik, Yuanzhen Li, Varun Jampani
cs.AI
Аннотация
Методы тонкой настройки генеративных моделей для персонализации на основе концепций обычно демонстрируют высокие результаты в задачах генерации, ориентированных на объекты или стили. Недавно были предложены низкоранговые адаптации (LoRA) как параметрически эффективный способ достижения персонализации на основе концепций. Хотя современные исследования изучают комбинацию отдельных LoRA для совместной генерации изученных стилей и объектов, существующие методы не всегда надежно решают эту задачу; они часто идут на компромисс либо в точности воспроизведения объекта, либо в точности стиля. Мы предлагаем ZipLoRA — метод для дешевого и эффективного объединения независимо обученных LoRA для стиля и объекта, что позволяет генерировать любой предоставленный пользователем объект в любом предоставленном стиле. Эксперименты с широким спектром комбинаций объектов и стилей показывают, что ZipLoRA способна создавать убедительные результаты с существенным улучшением точности воспроизведения объекта и стиля по сравнению с базовыми методами, сохраняя при этом возможность переконтекстуализации. Страница проекта: https://ziplora.github.io.
English
Methods for finetuning generative models for concept-driven personalization
generally achieve strong results for subject-driven or style-driven generation.
Recently, low-rank adaptations (LoRA) have been proposed as a
parameter-efficient way of achieving concept-driven personalization. While
recent work explores the combination of separate LoRAs to achieve joint
generation of learned styles and subjects, existing techniques do not reliably
address the problem; they often compromise either subject fidelity or style
fidelity. We propose ZipLoRA, a method to cheaply and effectively merge
independently trained style and subject LoRAs in order to achieve generation of
any user-provided subject in any user-provided style. Experiments on a wide
range of subject and style combinations show that ZipLoRA can generate
compelling results with meaningful improvements over baselines in subject and
style fidelity while preserving the ability to recontextualize. Project page:
https://ziplora.github.io