ConsisLoRA : Amélioration de la cohérence du contenu et du style pour le transfert de style basé sur LoRA

ConsisLoRA: Enhancing Content and Style Consistency for LoRA-based Style Transfer

March 13, 2025

Auteurs: Bolin Chen, Baoquan Zhao, Haoran Xie, Yi Cai, Qing Li, Xudong Mao

cs.AI

Résumé

Le transfert de style consiste à transférer le style d'une image de référence au contenu d'une image cible. Les avancées récentes des méthodes basées sur LoRA (Low-Rank Adaptation) ont montré leur potentiel pour capturer efficacement le style d'une seule image. Cependant, ces approches rencontrent encore des défis majeurs tels que l'incohérence du contenu, le désalignement du style et la fuite de contenu. Dans cet article, nous analysons de manière exhaustive les limites de la paramétrisation standard de la diffusion, qui apprend à prédire le bruit, dans le contexte du transfert de style. Pour résoudre ces problèmes, nous introduisons ConsisLoRA, une méthode basée sur LoRA qui améliore à la fois la cohérence du contenu et du style en optimisant les poids LoRA pour prédire l'image originale plutôt que le bruit. Nous proposons également une stratégie d'apprentissage en deux étapes qui découple l'apprentissage du contenu et du style à partir de l'image de référence. Pour capturer efficacement à la fois la structure globale et les détails locaux de l'image de contenu, nous introduisons une stratégie de transition progressive des pertes. De plus, nous présentons une méthode de guidage d'inférence qui permet un contrôle continu des forces du contenu et du style pendant l'inférence. Grâce à des évaluations qualitatives et quantitatives, notre méthode démontre des améliorations significatives en matière de cohérence du contenu et du style tout en réduisant efficacement la fuite de contenu.

English

Style transfer involves transferring the style from a reference image to the content of a target image. Recent advancements in LoRA-based (Low-Rank Adaptation) methods have shown promise in effectively capturing the style of a single image. However, these approaches still face significant challenges such as content inconsistency, style misalignment, and content leakage. In this paper, we comprehensively analyze the limitations of the standard diffusion parameterization, which learns to predict noise, in the context of style transfer. To address these issues, we introduce ConsisLoRA, a LoRA-based method that enhances both content and style consistency by optimizing the LoRA weights to predict the original image rather than noise. We also propose a two-step training strategy that decouples the learning of content and style from the reference image. To effectively capture both the global structure and local details of the content image, we introduce a stepwise loss transition strategy. Additionally, we present an inference guidance method that enables continuous control over content and style strengths during inference. Through both qualitative and quantitative evaluations, our method demonstrates significant improvements in content and style consistency while effectively reducing content leakage.