ConsisLoRA: Mejorando la Consistencia de Contenido y Estilo para la Transferencia de Estilo Basada en LoRA

ConsisLoRA: Enhancing Content and Style Consistency for LoRA-based Style Transfer

March 13, 2025

Autores: Bolin Chen, Baoquan Zhao, Haoran Xie, Yi Cai, Qing Li, Xudong Mao

cs.AI

Resumen

La transferencia de estilo consiste en transferir el estilo de una imagen de referencia al contenido de una imagen objetivo. Los avances recientes en métodos basados en LoRA (Adaptación de Bajo Rango) han mostrado potencial para capturar eficazmente el estilo de una sola imagen. Sin embargo, estos enfoques aún enfrentan desafíos significativos, como la inconsistencia en el contenido, la desalineación del estilo y la filtración de contenido. En este artículo, analizamos exhaustivamente las limitaciones de la parametrización estándar de difusión, que aprende a predecir ruido, en el contexto de la transferencia de estilo. Para abordar estos problemas, presentamos ConsisLoRA, un método basado en LoRA que mejora la consistencia tanto del contenido como del estilo al optimizar los pesos de LoRA para predecir la imagen original en lugar del ruido. También proponemos una estrategia de entrenamiento en dos pasos que desacopla el aprendizaje del contenido y el estilo a partir de la imagen de referencia. Para capturar eficazmente tanto la estructura global como los detalles locales de la imagen de contenido, introducimos una estrategia de transición gradual de la función de pérdida. Además, presentamos un método de guía de inferencia que permite un control continuo sobre la intensidad del contenido y el estilo durante la inferencia. A través de evaluaciones cualitativas y cuantitativas, nuestro método demuestra mejoras significativas en la consistencia del contenido y el estilo, reduciendo efectivamente la filtración de contenido.

English

Style transfer involves transferring the style from a reference image to the content of a target image. Recent advancements in LoRA-based (Low-Rank Adaptation) methods have shown promise in effectively capturing the style of a single image. However, these approaches still face significant challenges such as content inconsistency, style misalignment, and content leakage. In this paper, we comprehensively analyze the limitations of the standard diffusion parameterization, which learns to predict noise, in the context of style transfer. To address these issues, we introduce ConsisLoRA, a LoRA-based method that enhances both content and style consistency by optimizing the LoRA weights to predict the original image rather than noise. We also propose a two-step training strategy that decouples the learning of content and style from the reference image. To effectively capture both the global structure and local details of the content image, we introduce a stepwise loss transition strategy. Additionally, we present an inference guidance method that enables continuous control over content and style strengths during inference. Through both qualitative and quantitative evaluations, our method demonstrates significant improvements in content and style consistency while effectively reducing content leakage.