ConsisLoRA: Miglioramento della Coerenza di Contenuto e Stile per il Trasferimento di Stile Basato su LoRA

ConsisLoRA: Enhancing Content and Style Consistency for LoRA-based Style Transfer

March 13, 2025

Autori: Bolin Chen, Baoquan Zhao, Haoran Xie, Yi Cai, Qing Li, Xudong Mao

cs.AI

Abstract

Il trasferimento di stile consiste nel trasferire lo stile da un'immagine di riferimento al contenuto di un'immagine target. I recenti progressi nei metodi basati su LoRA (Low-Rank Adaptation) hanno mostrato promettenti risultati nella capacità di catturare efficacemente lo stile di una singola immagine. Tuttavia, questi approcci continuano a confrontarsi con sfide significative, come l'inconsistenza del contenuto, il disallineamento dello stile e la fuoriuscita di contenuto. In questo articolo, analizziamo in modo esaustivo i limiti della parametrizzazione standard della diffusione, che apprende a predire il rumore, nel contesto del trasferimento di stile. Per affrontare questi problemi, introduciamo ConsisLoRA, un metodo basato su LoRA che migliora sia la consistenza del contenuto che dello stile ottimizzando i pesi LoRA per predire l'immagine originale anziché il rumore. Proponiamo inoltre una strategia di addestramento in due fasi che disaccoppia l'apprendimento del contenuto e dello stile dall'immagine di riferimento. Per catturare efficacemente sia la struttura globale che i dettagli locali dell'immagine contenuto, introduciamo una strategia di transizione graduale della loss. In aggiunta, presentiamo un metodo di guida durante l'inferenza che consente un controllo continuo sulla forza del contenuto e dello stile durante l'inferenza. Attraverso valutazioni sia qualitative che quantitative, il nostro metodo dimostra significativi miglioramenti nella consistenza del contenuto e dello stile, riducendo efficacemente la fuoriuscita di contenuto.

English

Style transfer involves transferring the style from a reference image to the content of a target image. Recent advancements in LoRA-based (Low-Rank Adaptation) methods have shown promise in effectively capturing the style of a single image. However, these approaches still face significant challenges such as content inconsistency, style misalignment, and content leakage. In this paper, we comprehensively analyze the limitations of the standard diffusion parameterization, which learns to predict noise, in the context of style transfer. To address these issues, we introduce ConsisLoRA, a LoRA-based method that enhances both content and style consistency by optimizing the LoRA weights to predict the original image rather than noise. We also propose a two-step training strategy that decouples the learning of content and style from the reference image. To effectively capture both the global structure and local details of the content image, we introduce a stepwise loss transition strategy. Additionally, we present an inference guidance method that enables continuous control over content and style strengths during inference. Through both qualitative and quantitative evaluations, our method demonstrates significant improvements in content and style consistency while effectively reducing content leakage.