InstantStyle: 텍스트-이미지 생성에서 스타일 보존을 위한 무료 점심

InstantStyle: Free Lunch towards Style-Preserving in Text-to-Image Generation

April 3, 2024

저자: Haofan Wang, Qixun Wang, Xu Bai, Zekui Qin, Anthony Chen

cs.AI

초록

조정이 필요 없는 확산 기반 모델들은 이미지 개인화 및 맞춤화 분야에서 상당한 잠재력을 보여주고 있습니다. 그러나 이러한 주목할 만한 진전에도 불구하고, 현재의 모델들은 스타일 일관성을 갖춘 이미지 생성에 있어 여러 복잡한 문제들을 여전히 해결해야 하는 상황입니다. 첫째, 스타일이라는 개념은 본질적으로 불완전하게 정의되어 있으며, 색상, 재질, 분위기, 디자인, 구조 등 다양한 요소를 포함합니다. 둘째, 역변환 기반 방법들은 스타일 저하에 취약하여 미세한 디테일의 손실을 초래하는 경우가 많습니다. 마지막으로, 어댑터 기반 접근법들은 스타일 강도와 텍스트 제어 가능성 사이의 균형을 맞추기 위해 각 참조 이미지에 대해 세심한 가중치 조정을 요구하는 경우가 많습니다. 본 논문에서는 먼저 주목할 만하지만 자주 간과되는 몇 가지 관찰 사항들을 검토합니다. 그런 다음 이러한 문제들을 해결하기 위해 두 가지 주요 전략을 구현한 InstantStyle 프레임워크를 소개합니다: 1) 동일한 공간 내의 특징들이 서로 더하거나 뺄 수 있다는 가정 하에, 참조 이미지에서 스타일과 콘텐츠를 특징 공간에서 분리하는 간단한 메커니즘. 2) 참조 이미지의 특징들을 스타일 특화 블록에만 주입함으로써 스타일 누출을 방지하고, 더 많은 매개변수를 사용하는 설계에서 흔히 나타나는 번거로운 가중치 조정을 피하는 방식. 우리의 작업은 스타일 강도와 텍스트 요소의 제어 가능성 사이의 최적의 균형을 이루며 우수한 시각적 스타일화 결과를 보여줍니다. 우리의 코드는 https://github.com/InstantStyle/InstantStyle에서 확인할 수 있습니다.

English

Tuning-free diffusion-based models have demonstrated significant potential in the realm of image personalization and customization. However, despite this notable progress, current models continue to grapple with several complex challenges in producing style-consistent image generation. Firstly, the concept of style is inherently underdetermined, encompassing a multitude of elements such as color, material, atmosphere, design, and structure, among others. Secondly, inversion-based methods are prone to style degradation, often resulting in the loss of fine-grained details. Lastly, adapter-based approaches frequently require meticulous weight tuning for each reference image to achieve a balance between style intensity and text controllability. In this paper, we commence by examining several compelling yet frequently overlooked observations. We then proceed to introduce InstantStyle, a framework designed to address these issues through the implementation of two key strategies: 1) A straightforward mechanism that decouples style and content from reference images within the feature space, predicated on the assumption that features within the same space can be either added to or subtracted from one another. 2) The injection of reference image features exclusively into style-specific blocks, thereby preventing style leaks and eschewing the need for cumbersome weight tuning, which often characterizes more parameter-heavy designs.Our work demonstrates superior visual stylization outcomes, striking an optimal balance between the intensity of style and the controllability of textual elements. Our codes will be available at https://github.com/InstantStyle/InstantStyle.