Calligrapher: Personalizzazione Libera di Immagini di Testo

Calligrapher: Freestyle Text Image Customization

June 30, 2025

Autori: Yue Ma, Qingyan Bai, Hao Ouyang, Ka Leong Cheng, Qiuyu Wang, Hongyu Liu, Zichen Liu, Haofan Wang, Jingye Chen, Yujun Shen, Qifeng Chen

cs.AI

Abstract

Presentiamo Calligrapher, un innovativo framework basato su diffusione che integra in modo creativo la personalizzazione avanzata del testo con la tipografia artistica per applicazioni di calligrafia digitale e design. Affrontando le sfide del controllo preciso dello stile e della dipendenza dai dati nella personalizzazione tipografica, il nostro framework incorpora tre contributi tecnici chiave. In primo luogo, sviluppiamo un meccanismo di auto-distillazione che sfrutta il modello generativo pre-addestrato da testo a immagine insieme al modello linguistico di grandi dimensioni per costruire automaticamente un benchmark tipografico centrato sullo stile. In secondo luogo, introduciamo un framework di iniezione dello stile localizzato tramite un codificatore di stile addestrabile, che comprende sia Qformer che strati lineari, per estrarre caratteristiche robuste dello stile da immagini di riferimento. Viene inoltre impiegato un meccanismo di generazione in contesto per incorporare direttamente le immagini di riferimento nel processo di denoising, migliorando ulteriormente l'allineamento raffinato degli stili target. Valutazioni quantitative e qualitative estese su diversi font e contesti di design confermano la riproduzione accurata da parte di Calligrapher di dettagli stilistici intricati e di un posizionamento preciso dei glifi. Automatizzando una tipografia di alta qualità e visivamente coerente, Calligrapher supera i modelli tradizionali, potenziando i professionisti creativi nell'arte digitale, nel branding e nel design tipografico contestuale.

English

We introduce Calligrapher, a novel diffusion-based framework that innovatively integrates advanced text customization with artistic typography for digital calligraphy and design applications. Addressing the challenges of precise style control and data dependency in typographic customization, our framework incorporates three key technical contributions. First, we develop a self-distillation mechanism that leverages the pre-trained text-to-image generative model itself alongside the large language model to automatically construct a style-centric typography benchmark. Second, we introduce a localized style injection framework via a trainable style encoder, which comprises both Qformer and linear layers, to extract robust style features from reference images. An in-context generation mechanism is also employed to directly embed reference images into the denoising process, further enhancing the refined alignment of target styles. Extensive quantitative and qualitative evaluations across diverse fonts and design contexts confirm Calligrapher's accurate reproduction of intricate stylistic details and precise glyph positioning. By automating high-quality, visually consistent typography, Calligrapher surpasses traditional models, empowering creative practitioners in digital art, branding, and contextual typographic design.