K-LoRA : Vers une fusion sans entraînement de sujets et de styles LoRA quelconques

K-LoRA: Unlocking Training-Free Fusion of Any Subject and Style LoRAs

February 25, 2025

Auteurs: Ziheng Ouyang, Zhen Li, Qibin Hou

cs.AI

Résumé

Des études récentes ont exploré la combinaison de différents LoRAs pour générer conjointement le style et le contenu appris. Cependant, les méthodes existantes échouent soit à préserver efficacement à la fois le sujet original et le style simultanément, soit nécessitent un entraînement supplémentaire. Dans cet article, nous soutenons que les propriétés intrinsèques des LoRAs peuvent guider efficacement les modèles de diffusion dans la fusion du sujet et du style appris. Sur la base de cette intuition, nous proposons K-LoRA, une approche simple mais efficace de fusion de LoRAs sans entraînement. Dans chaque couche d'attention, K-LoRA compare les Top-K éléments de chaque LoRA à fusionner, déterminant quel LoRA sélectionner pour une fusion optimale. Ce mécanisme de sélection garantit que les caractéristiques les plus représentatives du sujet et du style sont conservées pendant le processus de fusion, équilibrant efficacement leurs contributions. Les résultats expérimentaux démontrent que la méthode proposée intègre efficacement les informations de sujet et de style apprises par les LoRAs originaux, surpassant les approches basées sur l'entraînement les plus avancées en termes de résultats qualitatifs et quantitatifs.

English

Recent studies have explored combining different LoRAs to jointly generate learned style and content. However, existing methods either fail to effectively preserve both the original subject and style simultaneously or require additional training. In this paper, we argue that the intrinsic properties of LoRA can effectively guide diffusion models in merging learned subject and style. Building on this insight, we propose K-LoRA, a simple yet effective training-free LoRA fusion approach. In each attention layer, K-LoRA compares the Top-K elements in each LoRA to be fused, determining which LoRA to select for optimal fusion. This selection mechanism ensures that the most representative features of both subject and style are retained during the fusion process, effectively balancing their contributions. Experimental results demonstrate that the proposed method effectively integrates the subject and style information learned by the original LoRAs, outperforming state-of-the-art training-based approaches in both qualitative and quantitative results.