캘리그래퍼: 자유형 텍스트 이미지 맞춤 설정

Calligrapher: Freestyle Text Image Customization

June 30, 2025

저자: Yue Ma, Qingyan Bai, Hao Ouyang, Ka Leong Cheng, Qiuyu Wang, Hongyu Liu, Zichen Liu, Haofan Wang, Jingye Chen, Yujun Shen, Qifeng Chen

cs.AI

초록

우리는 디지털 캘리그래피 및 디자인 애플리케이션을 위해 고급 텍스트 커스터마이제이션과 예술적 타이포그래피를 혁신적으로 통합한 새로운 디퓨전 기반 프레임워크인 Calligrapher를 소개한다. 타이포그래피 커스터마이제이션에서 정밀한 스타일 제어와 데이터 의존성 문제를 해결하기 위해, 우리의 프레임워크는 세 가지 핵심 기술적 기여를 포함한다. 첫째, 사전 훈련된 텍스트-이미지 생성 모델과 대형 언어 모델을 활용하여 스타일 중심의 타이포그래피 벤치마크를 자동으로 구축하는 자기-증류 메커니즘을 개발한다. 둘째, 참조 이미지에서 강력한 스타일 특징을 추출하기 위해 Qformer와 선형 레이어로 구성된 훈련 가능한 스타일 인코더를 통한 지역적 스타일 주입 프레임워크를 도입한다. 또한, 참조 이미지를 디노이징 프로세스에 직접 임베드하여 목표 스타일의 정교한 정렬을 더욱 강화하는 인-컨텍스트 생성 메커니즘을 활용한다. 다양한 폰트와 디자인 컨텍스트에서 수행된 광범위한 정량적 및 정성적 평가를 통해 Calligrapher가 복잡한 스타일적 세부 사항과 정확한 글리프 위치를 정확하게 재현함을 확인하였다. 고품질의 시각적으로 일관된 타이포그래피를 자동화함으로써, Calligrapher는 전통적인 모델을 능가하며 디지털 아트, 브랜딩, 컨텍스트 기반 타이포그래피 디자인 분야의 창의적 실무자들에게 강력한 도구를 제공한다.

English

We introduce Calligrapher, a novel diffusion-based framework that innovatively integrates advanced text customization with artistic typography for digital calligraphy and design applications. Addressing the challenges of precise style control and data dependency in typographic customization, our framework incorporates three key technical contributions. First, we develop a self-distillation mechanism that leverages the pre-trained text-to-image generative model itself alongside the large language model to automatically construct a style-centric typography benchmark. Second, we introduce a localized style injection framework via a trainable style encoder, which comprises both Qformer and linear layers, to extract robust style features from reference images. An in-context generation mechanism is also employed to directly embed reference images into the denoising process, further enhancing the refined alignment of target styles. Extensive quantitative and qualitative evaluations across diverse fonts and design contexts confirm Calligrapher's accurate reproduction of intricate stylistic details and precise glyph positioning. By automating high-quality, visually consistent typography, Calligrapher surpasses traditional models, empowering creative practitioners in digital art, branding, and contextual typographic design.