ConsisLoRA: Verbesserung der Inhalts- und Stilkonsistenz für LoRA-basierten Stiltransfer

ConsisLoRA: Enhancing Content and Style Consistency for LoRA-based Style Transfer

March 13, 2025

Autoren: Bolin Chen, Baoquan Zhao, Haoran Xie, Yi Cai, Qing Li, Xudong Mao

cs.AI

Zusammenfassung

Stiltransfer beinhaltet die Übertragung des Stils eines Referenzbildes auf den Inhalt eines Zielbildes. Jüngste Fortschritte in LoRA-basierten (Low-Rank Adaptation) Methoden haben vielversprechende Ergebnisse bei der effektiven Erfassung des Stils eines einzelnen Bildes gezeigt. Diese Ansätze stehen jedoch weiterhin vor erheblichen Herausforderungen wie Inhaltsinkonsistenz, Stilfehlausrichtung und Inhaltsdurchsickern. In diesem Papier analysieren wir umfassend die Grenzen der standardmäßigen Diffusionsparametrisierung, die darauf abzielt, Rauschen vorherzusagen, im Kontext des Stiltransfers. Um diese Probleme zu lösen, führen wir ConsisLoRA ein, eine LoRA-basierte Methode, die sowohl die Inhalts- als auch die Stilkonsistenz verbessert, indem die LoRA-Gewichte optimiert werden, um das Originalbild anstelle von Rauschen vorherzusagen. Wir schlagen außerdem eine zweistufige Trainingsstrategie vor, die das Lernen von Inhalt und Stil aus dem Referenzbild entkoppelt. Um sowohl die globale Struktur als auch die lokalen Details des Inhaltsbildes effektiv zu erfassen, führen wir eine schrittweise Verlustübergangsstrategie ein. Zusätzlich präsentieren wir eine Inferenzführungsmethode, die eine kontinuierliche Steuerung der Inhalts- und Stilstärken während der Inferenz ermöglicht. Durch sowohl qualitative als auch quantitative Bewertungen zeigt unsere Methode signifikante Verbesserungen in der Inhalts- und Stilkonsistenz bei gleichzeitiger effektiver Reduzierung von Inhaltsdurchsickern.

English

Style transfer involves transferring the style from a reference image to the content of a target image. Recent advancements in LoRA-based (Low-Rank Adaptation) methods have shown promise in effectively capturing the style of a single image. However, these approaches still face significant challenges such as content inconsistency, style misalignment, and content leakage. In this paper, we comprehensively analyze the limitations of the standard diffusion parameterization, which learns to predict noise, in the context of style transfer. To address these issues, we introduce ConsisLoRA, a LoRA-based method that enhances both content and style consistency by optimizing the LoRA weights to predict the original image rather than noise. We also propose a two-step training strategy that decouples the learning of content and style from the reference image. To effectively capture both the global structure and local details of the content image, we introduce a stepwise loss transition strategy. Additionally, we present an inference guidance method that enables continuous control over content and style strengths during inference. Through both qualitative and quantitative evaluations, our method demonstrates significant improvements in content and style consistency while effectively reducing content leakage.