Calligraphe : Personnalisation d'images textuelles en style libre

Calligrapher: Freestyle Text Image Customization

June 30, 2025

Auteurs: Yue Ma, Qingyan Bai, Hao Ouyang, Ka Leong Cheng, Qiuyu Wang, Hongyu Liu, Zichen Liu, Haofan Wang, Jingye Chen, Yujun Shen, Qifeng Chen

cs.AI

Résumé

Nous présentons Calligrapher, un nouveau cadre basé sur la diffusion qui intègre de manière innovante la personnalisation avancée du texte avec la typographie artistique pour les applications de calligraphie numérique et de design. En abordant les défis du contrôle précis du style et de la dépendance aux données dans la personnalisation typographique, notre cadre intègre trois contributions techniques clés. Premièrement, nous développons un mécanisme d'auto-distillation qui exploite le modèle génératif texte-image pré-entraîné lui-même ainsi que le modèle de langage large pour construire automatiquement un benchmark de typographie centré sur le style. Deuxièmement, nous introduisons un cadre d'injection de style localisé via un encodeur de style entraînable, qui comprend à la fois des Qformer et des couches linéaires, pour extraire des caractéristiques de style robustes à partir d'images de référence. Un mécanisme de génération en contexte est également employé pour intégrer directement les images de référence dans le processus de débruîtage, améliorant ainsi l'alignement raffiné des styles cibles. Des évaluations quantitatives et qualitatives approfondies sur diverses polices et contextes de design confirment la reproduction précise des détails stylistiques complexes et le positionnement exact des glyphes par Calligrapher. En automatisant une typographie de haute qualité et visuellement cohérente, Calligrapher surpasse les modèles traditionnels, offrant aux praticiens créatifs des outils puissants pour l'art numérique, le branding et le design typographique contextuel.

English

We introduce Calligrapher, a novel diffusion-based framework that innovatively integrates advanced text customization with artistic typography for digital calligraphy and design applications. Addressing the challenges of precise style control and data dependency in typographic customization, our framework incorporates three key technical contributions. First, we develop a self-distillation mechanism that leverages the pre-trained text-to-image generative model itself alongside the large language model to automatically construct a style-centric typography benchmark. Second, we introduce a localized style injection framework via a trainable style encoder, which comprises both Qformer and linear layers, to extract robust style features from reference images. An in-context generation mechanism is also employed to directly embed reference images into the denoising process, further enhancing the refined alignment of target styles. Extensive quantitative and qualitative evaluations across diverse fonts and design contexts confirm Calligrapher's accurate reproduction of intricate stylistic details and precise glyph positioning. By automating high-quality, visually consistent typography, Calligrapher surpasses traditional models, empowering creative practitioners in digital art, branding, and contextual typographic design.