GlyphControl: 視覚的テキスト生成のためのグリフ条件付き制御

要旨

近年、一貫性があり整った視覚的テキストを生成可能な拡散モデルベースのテキスト画像生成モデルの開発に対する関心が高まっています。本論文では、この課題に取り組むための新規かつ効率的なアプローチであるGlyphControlを提案します。ByT5のような文字認識型テキストエンコーダに依存し、テキスト画像モデルの再学習を必要とする既存手法とは異なり、本アプローチでは追加のグリフ条件情報を活用することで、既存のStable-Diffusionモデルの視覚的テキスト生成性能を向上させます。グリフ指示を組み込むことで、ユーザーは生成テキストの内容、位置、サイズを特定の要件に応じてカスタマイズできます。視覚的テキスト生成のさらなる研究を促進するため、LAION-Glyphというトレーニングベンチマークデータセットを構築しました。生成された視覚的テキストのOCRベースの指標とCLIPスコアを測定することで、本アプローチの有効性を評価します。実証評価の結果、GlyphControlは最近のDeepFloyd IFアプローチをOCR精度とCLIPスコアの両面で上回り、本手法の有効性が示されました。

English

Recently, there has been a growing interest in developing diffusion-based text-to-image generative models capable of generating coherent and well-formed visual text. In this paper, we propose a novel and efficient approach called GlyphControl to address this task. Unlike existing methods that rely on character-aware text encoders like ByT5 and require retraining of text-to-image models, our approach leverages additional glyph conditional information to enhance the performance of the off-the-shelf Stable-Diffusion model in generating accurate visual text. By incorporating glyph instructions, users can customize the content, location, and size of the generated text according to their specific requirements. To facilitate further research in visual text generation, we construct a training benchmark dataset called LAION-Glyph. We evaluate the effectiveness of our approach by measuring OCR-based metrics and CLIP scores of the generated visual text. Our empirical evaluations demonstrate that GlyphControl outperforms the recent DeepFloyd IF approach in terms of OCR accuracy and CLIP scores, highlighting the efficacy of our method.

GlyphControl: 視覚的テキスト生成のためのグリフ条件付き制御

GlyphControl: Glyph Conditional Control for Visual Text Generation

要旨

Support