ConsisLoRA: Повышение согласованности содержания и стиля для переноса стиля на основе LoRA

ConsisLoRA: Enhancing Content and Style Consistency for LoRA-based Style Transfer

March 13, 2025

Авторы: Bolin Chen, Baoquan Zhao, Haoran Xie, Yi Cai, Qing Li, Xudong Mao

cs.AI

Аннотация

Перенос стиля предполагает перенос стиля из эталонного изображения на содержание целевого изображения. Последние достижения в методах на основе LoRA (Low-Rank Adaptation, адаптация низкого ранга) показали перспективность в эффективном захвате стиля одного изображения. Однако эти подходы по-прежнему сталкиваются с серьезными проблемами, такими как несогласованность содержания, несоответствие стиля и утечка содержания. В данной работе мы всесторонне анализируем ограничения стандартной параметризации диффузии, которая обучается предсказывать шум, в контексте переноса стиля. Для решения этих проблем мы представляем ConsisLoRA — метод на основе LoRA, который улучшает согласованность как содержания, так и стиля за счет оптимизации весов LoRA для предсказания исходного изображения вместо шума. Мы также предлагаем двухэтапную стратегию обучения, которая разделяет изучение содержания и стиля из эталонного изображения. Для эффективного захвата как глобальной структуры, так и локальных деталей изображения содержания мы вводим стратегию поэтапного перехода потерь. Кроме того, мы представляем метод управления выводом, который позволяет непрерывно контролировать силу содержания и стиля во время вывода. Как качественные, так и количественные оценки демонстрируют значительные улучшения в согласованности содержания и стиля при эффективном снижении утечки содержания.

English

Style transfer involves transferring the style from a reference image to the content of a target image. Recent advancements in LoRA-based (Low-Rank Adaptation) methods have shown promise in effectively capturing the style of a single image. However, these approaches still face significant challenges such as content inconsistency, style misalignment, and content leakage. In this paper, we comprehensively analyze the limitations of the standard diffusion parameterization, which learns to predict noise, in the context of style transfer. To address these issues, we introduce ConsisLoRA, a LoRA-based method that enhances both content and style consistency by optimizing the LoRA weights to predict the original image rather than noise. We also propose a two-step training strategy that decouples the learning of content and style from the reference image. To effectively capture both the global structure and local details of the content image, we introduce a stepwise loss transition strategy. Additionally, we present an inference guidance method that enables continuous control over content and style strengths during inference. Through both qualitative and quantitative evaluations, our method demonstrates significant improvements in content and style consistency while effectively reducing content leakage.