K-LoRA: Training-vrije fusie van willekeurige onderwerpen en stijlen met LoRA's mogelijk maken

K-LoRA: Unlocking Training-Free Fusion of Any Subject and Style LoRAs

February 25, 2025

Auteurs: Ziheng Ouyang, Zhen Li, Qibin Hou

cs.AI

Samenvatting

Recente studies hebben onderzocht hoe verschillende LoRA's gecombineerd kunnen worden om geleerde stijl en inhoud gezamenlijk te genereren. Bestaande methoden slagen er echter niet in om zowel het oorspronkelijke onderwerp als de stijl effectief tegelijkertijd te behouden, of vereisen aanvullende training. In dit artikel stellen we dat de intrinsieke eigenschappen van LoRA diffusiemodellen effectief kunnen begeleiden bij het samenvoegen van geleerd onderwerp en stijl. Op basis van dit inzicht introduceren we K-LoRA, een eenvoudige maar effectieve LoRA-fusiebenadering zonder training. In elke aandachtlaag vergelijkt K-LoRA de Top-K elementen in elke te fuseren LoRA, om te bepalen welke LoRA geselecteerd moet worden voor optimale fusie. Dit selectiemechanisme zorgt ervoor dat de meest representatieve kenmerken van zowel onderwerp als stijl behouden blijven tijdens het fusieproces, waardoor hun bijdragen effectief in balans worden gebracht. Experimentele resultaten tonen aan dat de voorgestelde methode de door de oorspronkelijke LoRA's geleerde onderwerp- en stijlinformatie effectief integreert, en zowel kwalitatief als kwantitatief beter presteert dan state-of-the-art trainingsgebaseerde benaderingen.

English

Recent studies have explored combining different LoRAs to jointly generate learned style and content. However, existing methods either fail to effectively preserve both the original subject and style simultaneously or require additional training. In this paper, we argue that the intrinsic properties of LoRA can effectively guide diffusion models in merging learned subject and style. Building on this insight, we propose K-LoRA, a simple yet effective training-free LoRA fusion approach. In each attention layer, K-LoRA compares the Top-K elements in each LoRA to be fused, determining which LoRA to select for optimal fusion. This selection mechanism ensures that the most representative features of both subject and style are retained during the fusion process, effectively balancing their contributions. Experimental results demonstrate that the proposed method effectively integrates the subject and style information learned by the original LoRAs, outperforming state-of-the-art training-based approaches in both qualitative and quantitative results.