カリグラファー：自由形式テキスト画像カスタマイズ

Calligrapher: Freestyle Text Image Customization

June 30, 2025

著者: Yue Ma, Qingyan Bai, Hao Ouyang, Ka Leong Cheng, Qiuyu Wang, Hongyu Liu, Zichen Liu, Haofan Wang, Jingye Chen, Yujun Shen, Qifeng Chen

cs.AI

要旨

Calligrapherを紹介します。これは、デジタルカリグラフィーとデザインアプリケーション向けに、先進的なテキストカスタマイズと芸術的なタイポグラフィを革新的に統合した、新しい拡散ベースのフレームワークです。タイポグラフィカスタマイズにおける正確なスタイル制御とデータ依存性の課題に対処するため、当フレームワークは3つの主要な技術的貢献を組み込んでいます。まず、事前学習済みのテキストから画像生成モデルと大規模言語モデルを活用して、スタイル中心のタイポグラフィベンチマークを自動的に構築する自己蒸留メカニズムを開発しました。次に、Qformerと線形層からなる学習可能なスタイルエンコーダを介した局所的なスタイル注入フレームワークを導入し、参照画像から堅牢なスタイル特徴を抽出します。さらに、参照画像をノイズ除去プロセスに直接埋め込むためのインコンテキスト生成メカニズムも採用し、ターゲットスタイルの洗練された整合性をさらに強化します。多様なフォントとデザインコンテキストにわたる広範な定量的および定性的評価により、Calligrapherが複雑なスタイルの詳細と正確なグリフ配置を正確に再現することが確認されました。高品質で視覚的に一貫したタイポグラフィを自動化することで、Calligrapherは従来のモデルを凌駕し、デジタルアート、ブランディング、コンテキストに応じたタイポグラフィデザインにおける創造的な実践者を支援します。

English

We introduce Calligrapher, a novel diffusion-based framework that innovatively integrates advanced text customization with artistic typography for digital calligraphy and design applications. Addressing the challenges of precise style control and data dependency in typographic customization, our framework incorporates three key technical contributions. First, we develop a self-distillation mechanism that leverages the pre-trained text-to-image generative model itself alongside the large language model to automatically construct a style-centric typography benchmark. Second, we introduce a localized style injection framework via a trainable style encoder, which comprises both Qformer and linear layers, to extract robust style features from reference images. An in-context generation mechanism is also employed to directly embed reference images into the denoising process, further enhancing the refined alignment of target styles. Extensive quantitative and qualitative evaluations across diverse fonts and design contexts confirm Calligrapher's accurate reproduction of intricate stylistic details and precise glyph positioning. By automating high-quality, visually consistent typography, Calligrapher surpasses traditional models, empowering creative practitioners in digital art, branding, and contextual typographic design.