GlyphControl: Glyph-bedingte Steuerung für die visuelle Texterzeugung
GlyphControl: Glyph Conditional Control for Visual Text Generation
May 29, 2023
Autoren: Yukang Yang, Dongnan Gui, Yuhui Yuan, Haisong Ding, Han Hu, Kai Chen
cs.AI
Zusammenfassung
In jüngster Zeit hat das Interesse an der Entwicklung von diffusionsbasierten Text-zu-Bild-Generierungsmodellen, die in der Lage sind, kohärenten und wohlgeformten visuellen Text zu erzeugen, zugenommen. In diesem Artikel schlagen wir einen neuartigen und effizienten Ansatz namens GlyphControl vor, um diese Aufgabe zu bewältigen. Im Gegensatz zu bestehenden Methoden, die auf zeichenbewusste Text-Encoder wie ByT5 angewiesen sind und eine Neuanpassung von Text-zu-Bild-Modellen erfordern, nutzt unser Ansatz zusätzliche glyphenbasierte Konditionierungsinformationen, um die Leistung des Standard-Stable-Diffusion-Modells bei der Erzeugung von präzisem visuellem Text zu verbessern. Durch die Einbindung von Glyphen-Anweisungen können Benutzer den Inhalt, die Position und die Größe des generierten Textes gemäß ihren spezifischen Anforderungen anpassen. Um die weitere Forschung zur Generierung von visuellem Text zu unterstützen, haben wir einen Trainings-Benchmark-Datensatz namens LAION-Glyph erstellt. Wir bewerten die Effektivität unseres Ansatzes durch die Messung OCR-basierter Metriken und CLIP-Scores des erzeugten visuellen Textes. Unsere empirischen Auswertungen zeigen, dass GlyphControl den kürzlich vorgestellten DeepFloyd IF-Ansatz in Bezug auf OCR-Genauigkeit und CLIP-Scores übertrifft, was die Wirksamkeit unserer Methode unterstreicht.
English
Recently, there has been a growing interest in developing diffusion-based
text-to-image generative models capable of generating coherent and well-formed
visual text. In this paper, we propose a novel and efficient approach called
GlyphControl to address this task. Unlike existing methods that rely on
character-aware text encoders like ByT5 and require retraining of text-to-image
models, our approach leverages additional glyph conditional information to
enhance the performance of the off-the-shelf Stable-Diffusion model in
generating accurate visual text. By incorporating glyph instructions, users can
customize the content, location, and size of the generated text according to
their specific requirements. To facilitate further research in visual text
generation, we construct a training benchmark dataset called LAION-Glyph. We
evaluate the effectiveness of our approach by measuring OCR-based metrics and
CLIP scores of the generated visual text. Our empirical evaluations demonstrate
that GlyphControl outperforms the recent DeepFloyd IF approach in terms of OCR
accuracy and CLIP scores, highlighting the efficacy of our method.