ConsisLoRA: LoRA 기반 스타일 변환을 위한 콘텐츠 및 스타일 일관성 강화

ConsisLoRA: Enhancing Content and Style Consistency for LoRA-based Style Transfer

March 13, 2025

저자: Bolin Chen, Baoquan Zhao, Haoran Xie, Yi Cai, Qing Li, Xudong Mao

cs.AI

초록

스타일 전환은 참조 이미지의 스타일을 대상 이미지의 콘텐츠에 전달하는 과정을 포함합니다. 최근 LoRA(Low-Rank Adaptation) 기반 방법의 발전은 단일 이미지의 스타일을 효과적으로 포착하는 데 유망한 결과를 보여주었습니다. 그러나 이러한 접근법들은 여전히 콘텐츠 불일치, 스타일 정렬 오류, 콘텐츠 누출과 같은 중요한 문제에 직면해 있습니다. 본 논문에서는 스타일 전환 맥락에서 노이즈를 예측하도록 학습하는 표준 확산 파라미터화의 한계를 포괄적으로 분석합니다. 이러한 문제를 해결하기 위해, 우리는 LoRA 가중치를 최적화하여 노이즈가 아닌 원본 이미지를 예측하도록 함으로써 콘텐츠와 스타일 일관성을 모두 강화하는 LoRA 기반 방법인 ConsisLoRA를 소개합니다. 또한, 참조 이미지로부터 콘텐츠와 스타일 학습을 분리하는 두 단계의 학습 전략을 제안합니다. 콘텐츠 이미지의 전역적 구조와 지역적 세부 사항을 효과적으로 포착하기 위해, 단계적 손실 전환 전략을 도입합니다. 더불어, 추론 과정에서 콘텐츠와 스타일 강도를 연속적으로 제어할 수 있는 추론 가이던스 방법을 제시합니다. 정성적 및 정량적 평가를 통해, 우리의 방법은 콘텐츠와 스타일 일관성을 크게 개선하면서 콘텐츠 누출을 효과적으로 줄이는 것을 입증합니다.

English

Style transfer involves transferring the style from a reference image to the content of a target image. Recent advancements in LoRA-based (Low-Rank Adaptation) methods have shown promise in effectively capturing the style of a single image. However, these approaches still face significant challenges such as content inconsistency, style misalignment, and content leakage. In this paper, we comprehensively analyze the limitations of the standard diffusion parameterization, which learns to predict noise, in the context of style transfer. To address these issues, we introduce ConsisLoRA, a LoRA-based method that enhances both content and style consistency by optimizing the LoRA weights to predict the original image rather than noise. We also propose a two-step training strategy that decouples the learning of content and style from the reference image. To effectively capture both the global structure and local details of the content image, we introduce a stepwise loss transition strategy. Additionally, we present an inference guidance method that enables continuous control over content and style strengths during inference. Through both qualitative and quantitative evaluations, our method demonstrates significant improvements in content and style consistency while effectively reducing content leakage.