InstantStyle-Plus: 텍스트-이미지 생성에서 콘텐츠 보존을 통한 스타일 전이

InstantStyle-Plus: Style Transfer with Content-Preserving in Text-to-Image Generation

June 30, 2024

저자: Haofan Wang, Peng Xing, Renyuan Huang, Hao Ai, Qixun Wang, Xu Bai

cs.AI

초록

스타일 전환은 원본의 본질을 유지하면서 다른 시각적 스타일을 수용하는 이미지를 창조하는 창의적인 과정입니다. 확산 모델은 개인화된 주제 중심 또는 스타일 중심 애플리케이션에서 인상적인 생성 능력을 보여주었지만, 기존의 최첨단 방법들은 여전히 콘텐츠 보존과 스타일 강화 사이의 원활한 균형을 달성하는 데 어려움을 겪고 있습니다. 예를 들어, 스타일의 영향을 증폭시키는 것은 종종 콘텐츠의 구조적 무결성을 훼손할 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 스타일 전환 작업을 세 가지 핵심 요소로 분해합니다: 1) 스타일, 이미지의 미적 특성에 초점을 맞춤; 2) 공간 구조, 시각적 요소의 기하학적 배열과 구성을 고려함; 3) 의미론적 콘텐츠, 이미지의 개념적 의미를 포착함. 이러한 원칙을 바탕으로, 우리는 원본 콘텐츠의 무결성을 우선시하면서 목표 스타일을 원활하게 통합하는 InstantStyle-Plus 접근법을 소개합니다. 구체적으로, 우리의 방법은 최첨단 InstantStyle 프레임워크를 활용하여 효율적이고 경량화된 프로세스를 통해 스타일 주입을 달성합니다. 콘텐츠 보존을 강화하기 위해, 우리는 역전된 콘텐츠 잠재 노이즈와 원본 이미지의 내재적 레이아웃을 보존하기 위한 다용도 플러그 앤 플레이 타일 ControlNet으로 프로세스를 시작합니다. 또한, 의미론적 콘텐츠의 충실도를 높이기 위해 전역 의미론적 어댑터를 통합합니다. 스타일 정보의 희석을 방지하기 위해, 스타일 추출기는 추가적인 스타일 지침을 제공하는 판별자로 사용됩니다. 코드는 https://github.com/instantX-research/InstantStyle-Plus에서 제공될 예정입니다.

English

Style transfer is an inventive process designed to create an image that maintains the essence of the original while embracing the visual style of another. Although diffusion models have demonstrated impressive generative power in personalized subject-driven or style-driven applications, existing state-of-the-art methods still encounter difficulties in achieving a seamless balance between content preservation and style enhancement. For example, amplifying the style's influence can often undermine the structural integrity of the content. To address these challenges, we deconstruct the style transfer task into three core elements: 1) Style, focusing on the image's aesthetic characteristics; 2) Spatial Structure, concerning the geometric arrangement and composition of visual elements; and 3) Semantic Content, which captures the conceptual meaning of the image. Guided by these principles, we introduce InstantStyle-Plus, an approach that prioritizes the integrity of the original content while seamlessly integrating the target style. Specifically, our method accomplishes style injection through an efficient, lightweight process, utilizing the cutting-edge InstantStyle framework. To reinforce the content preservation, we initiate the process with an inverted content latent noise and a versatile plug-and-play tile ControlNet for preserving the original image's intrinsic layout. We also incorporate a global semantic adapter to enhance the semantic content's fidelity. To safeguard against the dilution of style information, a style extractor is employed as discriminator for providing supplementary style guidance. Codes will be available at https://github.com/instantX-research/InstantStyle-Plus.