ConsisLoRA: Miglioramento della Coerenza di Contenuto e Stile per il Trasferimento di Stile Basato su LoRA
ConsisLoRA: Enhancing Content and Style Consistency for LoRA-based Style Transfer
March 13, 2025
Autori: Bolin Chen, Baoquan Zhao, Haoran Xie, Yi Cai, Qing Li, Xudong Mao
cs.AI
Abstract
Il trasferimento di stile consiste nel trasferire lo stile da un'immagine di riferimento al contenuto di un'immagine target. I recenti progressi nei metodi basati su LoRA (Low-Rank Adaptation) hanno mostrato promettenti risultati nella capacità di catturare efficacemente lo stile di una singola immagine. Tuttavia, questi approcci continuano a confrontarsi con sfide significative, come l'inconsistenza del contenuto, il disallineamento dello stile e la fuoriuscita di contenuto. In questo articolo, analizziamo in modo esaustivo i limiti della parametrizzazione standard della diffusione, che apprende a predire il rumore, nel contesto del trasferimento di stile. Per affrontare questi problemi, introduciamo ConsisLoRA, un metodo basato su LoRA che migliora sia la consistenza del contenuto che dello stile ottimizzando i pesi LoRA per predire l'immagine originale anziché il rumore. Proponiamo inoltre una strategia di addestramento in due fasi che disaccoppia l'apprendimento del contenuto e dello stile dall'immagine di riferimento. Per catturare efficacemente sia la struttura globale che i dettagli locali dell'immagine contenuto, introduciamo una strategia di transizione graduale della loss. In aggiunta, presentiamo un metodo di guida durante l'inferenza che consente un controllo continuo sulla forza del contenuto e dello stile durante l'inferenza. Attraverso valutazioni sia qualitative che quantitative, il nostro metodo dimostra significativi miglioramenti nella consistenza del contenuto e dello stile, riducendo efficacemente la fuoriuscita di contenuto.
English
Style transfer involves transferring the style from a reference image to the
content of a target image. Recent advancements in LoRA-based (Low-Rank
Adaptation) methods have shown promise in effectively capturing the style of a
single image. However, these approaches still face significant challenges such
as content inconsistency, style misalignment, and content leakage. In this
paper, we comprehensively analyze the limitations of the standard diffusion
parameterization, which learns to predict noise, in the context of style
transfer. To address these issues, we introduce ConsisLoRA, a LoRA-based method
that enhances both content and style consistency by optimizing the LoRA weights
to predict the original image rather than noise. We also propose a two-step
training strategy that decouples the learning of content and style from the
reference image. To effectively capture both the global structure and local
details of the content image, we introduce a stepwise loss transition strategy.
Additionally, we present an inference guidance method that enables continuous
control over content and style strengths during inference. Through both
qualitative and quantitative evaluations, our method demonstrates significant
improvements in content and style consistency while effectively reducing
content leakage.