K-LoRA: 어떤 주제와 스타일의 LoRA도 훈련 없이 융합하는 기술

K-LoRA: Unlocking Training-Free Fusion of Any Subject and Style LoRAs

February 25, 2025

저자: Ziheng Ouyang, Zhen Li, Qibin Hou

cs.AI

초록

최근 연구들은 다양한 LoRA를 결합하여 학습된 스타일과 콘텐츠를 공동으로 생성하는 방법을 탐구해 왔습니다. 그러나 기존 방법들은 원본 주제와 스타일을 동시에 효과적으로 보존하지 못하거나 추가적인 학습이 필요한 한계를 보였습니다. 본 논문에서는 LoRA의 본질적 특성이 확산 모델이 학습된 주제와 스타일을 병합하는 데 효과적으로 활용될 수 있다고 주장합니다. 이러한 통찰을 바탕으로, 우리는 학습이 필요 없는 간단하면서도 효과적인 LoRA 융합 접근법인 K-LoRA를 제안합니다. 각 주의 계층에서 K-LoRA는 융합할 각 LoRA의 Top-K 요소를 비교하여 최적의 융합을 위해 어떤 LoRA를 선택할지 결정합니다. 이 선택 메커니즘은 융합 과정에서 주제와 스타일의 가장 대표적인 특징이 보존되도록 하여, 두 요소의 기여를 효과적으로 균형 있게 유지합니다. 실험 결과는 제안된 방법이 원본 LoRA들이 학습한 주제와 스타일 정보를 효과적으로 통합하며, 정성적 및 정량적 결과에서 최신 학습 기반 접근법들을 능가함을 보여줍니다.

English

Recent studies have explored combining different LoRAs to jointly generate learned style and content. However, existing methods either fail to effectively preserve both the original subject and style simultaneously or require additional training. In this paper, we argue that the intrinsic properties of LoRA can effectively guide diffusion models in merging learned subject and style. Building on this insight, we propose K-LoRA, a simple yet effective training-free LoRA fusion approach. In each attention layer, K-LoRA compares the Top-K elements in each LoRA to be fused, determining which LoRA to select for optimal fusion. This selection mechanism ensures that the most representative features of both subject and style are retained during the fusion process, effectively balancing their contributions. Experimental results demonstrate that the proposed method effectively integrates the subject and style information learned by the original LoRAs, outperforming state-of-the-art training-based approaches in both qualitative and quantitative results.