ConsisLoRA: Aprimorando a Consistência de Conteúdo e Estilo para Transferência de Estilo Baseada em LoRA

ConsisLoRA: Enhancing Content and Style Consistency for LoRA-based Style Transfer

March 13, 2025

Autores: Bolin Chen, Baoquan Zhao, Haoran Xie, Yi Cai, Qing Li, Xudong Mao

cs.AI

Resumo

A transferência de estilo envolve a transferência do estilo de uma imagem de referência para o conteúdo de uma imagem alvo. Avanços recentes em métodos baseados em LoRA (Adaptação de Baixa Ordem) têm mostrado potencial para capturar efetivamente o estilo de uma única imagem. No entanto, essas abordagens ainda enfrentam desafios significativos, como inconsistência de conteúdo, desalinhamento de estilo e vazamento de conteúdo. Neste artigo, analisamos de forma abrangente as limitações da parametrização padrão de difusão, que aprende a prever ruído, no contexto da transferência de estilo. Para abordar esses problemas, introduzimos o ConsisLoRA, um método baseado em LoRA que melhora a consistência tanto do conteúdo quanto do estilo, otimizando os pesos do LoRA para prever a imagem original em vez de ruído. Também propomos uma estratégia de treinamento em duas etapas que desacopla a aprendizagem do conteúdo e do estilo da imagem de referência. Para capturar efetivamente tanto a estrutura global quanto os detalhes locais da imagem de conteúdo, introduzimos uma estratégia de transição gradual de perda. Além disso, apresentamos um método de orientação de inferência que permite o controle contínuo das intensidades de conteúdo e estilo durante a inferência. Por meio de avaliações qualitativas e quantitativas, nosso método demonstra melhorias significativas na consistência de conteúdo e estilo, reduzindo efetivamente o vazamento de conteúdo.

English

Style transfer involves transferring the style from a reference image to the content of a target image. Recent advancements in LoRA-based (Low-Rank Adaptation) methods have shown promise in effectively capturing the style of a single image. However, these approaches still face significant challenges such as content inconsistency, style misalignment, and content leakage. In this paper, we comprehensively analyze the limitations of the standard diffusion parameterization, which learns to predict noise, in the context of style transfer. To address these issues, we introduce ConsisLoRA, a LoRA-based method that enhances both content and style consistency by optimizing the LoRA weights to predict the original image rather than noise. We also propose a two-step training strategy that decouples the learning of content and style from the reference image. To effectively capture both the global structure and local details of the content image, we introduce a stepwise loss transition strategy. Additionally, we present an inference guidance method that enables continuous control over content and style strengths during inference. Through both qualitative and quantitative evaluations, our method demonstrates significant improvements in content and style consistency while effectively reducing content leakage.