DreamStyler: 텍스트-이미지 확산 모델을 활용한 스타일 역전 기반 그림 그리기

초록

대규모 텍스트-이미지 모델의 최근 발전은 예술 분야에서 다양한 응용을 찾으며 주목할 만한 성과를 거두었다. 그러나 작품의 독특한 특성(예: 붓터치, 색조, 구도)을 텍스트 프롬프트만으로 표현하는 것은 언어적 설명의 본질적 한계로 인해 제약을 받을 수 있다. 이를 위해 우리는 예술적 이미지 합성을 위해 설계된 새로운 프레임워크인 DreamStyler를 소개한다. DreamStyler는 텍스트-이미지 합성과 스타일 전이 모두에 능숙하며, 컨텍스트 인식 텍스트 프롬프트를 통해 다단계 텍스트 임베딩을 최적화하여 뛰어난 이미지 품질을 달성한다. 또한, 콘텐츠와 스타일 가이던스를 통해 DreamStyler는 다양한 스타일 참조를 수용할 수 있는 유연성을 보여준다. 실험 결과는 여러 시나리오에서 DreamStyler의 우수한 성능을 입증하며, 예술적 제품 창작에서의 유망한 잠재력을 시사한다.

English

Recent progresses in large-scale text-to-image models have yielded remarkable accomplishments, finding various applications in art domain. However, expressing unique characteristics of an artwork (e.g. brushwork, colortone, or composition) with text prompts alone may encounter limitations due to the inherent constraints of verbal description. To this end, we introduce DreamStyler, a novel framework designed for artistic image synthesis, proficient in both text-to-image synthesis and style transfer. DreamStyler optimizes a multi-stage textual embedding with a context-aware text prompt, resulting in prominent image quality. In addition, with content and style guidance, DreamStyler exhibits flexibility to accommodate a range of style references. Experimental results demonstrate its superior performance across multiple scenarios, suggesting its promising potential in artistic product creation.

DreamStyler: 텍스트-이미지 확산 모델을 활용한 스타일 역전 기반 그림 그리기

DreamStyler: Paint by Style Inversion with Text-to-Image Diffusion Models

초록

Support