ZipLoRA: 효과적인 LoRA 병합을 통해 모든 주제를 어떤 스타일로도 구현하기
ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs
November 22, 2023
저자: Viraj Shah, Nataniel Ruiz, Forrester Cole, Erika Lu, Svetlana Lazebnik, Yuanzhen Li, Varun Jampani
cs.AI
초록
개념 기반 개인화를 위한 생성 모델 미세 조정 방법은 일반적으로 주제 중심 또는 스타일 중심 생성에서 강력한 결과를 달성합니다. 최근에는 LoRA(Low-Rank Adaptations)가 개념 기반 개인화를 달성하기 위한 매개변수 효율적인 방법으로 제안되었습니다. 최근 연구에서는 학습된 스타일과 주제의 결합 생성을 위해 별도의 LoRA를 결합하는 방법을 탐구하지만, 기존 기술은 이 문제를 안정적으로 해결하지 못하며 종종 주제 충실도나 스타일 충실도를 희생합니다. 우리는 사용자가 제공한 주제를 사용자가 제공한 스타일로 생성하기 위해 독립적으로 훈련된 스타일과 주제 LoRA를 저렴하고 효과적으로 병합하는 방법인 ZipLoRA를 제안합니다. 다양한 주제와 스타일 조합에 대한 실험 결과, ZipLoRA는 주제 및 스타일 충실도에서 기준선 대비 의미 있는 개선과 함께 재구성 능력을 유지하면서도 설득력 있는 결과를 생성할 수 있음을 보여줍니다. 프로젝트 페이지: https://ziplora.github.io
English
Methods for finetuning generative models for concept-driven personalization
generally achieve strong results for subject-driven or style-driven generation.
Recently, low-rank adaptations (LoRA) have been proposed as a
parameter-efficient way of achieving concept-driven personalization. While
recent work explores the combination of separate LoRAs to achieve joint
generation of learned styles and subjects, existing techniques do not reliably
address the problem; they often compromise either subject fidelity or style
fidelity. We propose ZipLoRA, a method to cheaply and effectively merge
independently trained style and subject LoRAs in order to achieve generation of
any user-provided subject in any user-provided style. Experiments on a wide
range of subject and style combinations show that ZipLoRA can generate
compelling results with meaningful improvements over baselines in subject and
style fidelity while preserving the ability to recontextualize. Project page:
https://ziplora.github.io