GlyphControl: Glyph Conditionele Controle voor Visuele Tekstgeneratie

GlyphControl: Glyph Conditional Control for Visual Text Generation

May 29, 2023

Auteurs: Yukang Yang, Dongnan Gui, Yuhui Yuan, Haisong Ding, Han Hu, Kai Chen

cs.AI

Samenvatting

Er is recentelijk een groeiende interesse ontstaan in de ontwikkeling van diffusiegebaseerde tekst-naar-beeld generatieve modellen die in staat zijn coherente en goed gevormde visuele tekst te genereren. In dit artikel stellen we een nieuwe en efficiënte aanpak voor, genaamd GlyphControl, om deze taak aan te pakken. In tegenstelling tot bestaande methoden die vertrouwen op karakterbewuste tekstencoders zoals ByT5 en het opnieuw trainen van tekst-naar-beeld modellen vereisen, maakt onze aanpak gebruik van aanvullende glyph-conditionele informatie om de prestaties van het kant-en-klare Stable-Diffusion model te verbeteren bij het genereren van nauwkeurige visuele tekst. Door glyph-instructies te integreren, kunnen gebruikers de inhoud, locatie en grootte van de gegenereerde tekst aanpassen volgens hun specifieke vereisten. Om verder onderzoek in visuele tekstgeneratie te faciliteren, hebben we een trainingsbenchmarkdataset genaamd LAION-Glyph samengesteld. We evalueren de effectiviteit van onze aanpak door OCR-gebaseerde metrieken en CLIP-scores van de gegenereerde visuele tekst te meten. Onze empirische evaluaties tonen aan dat GlyphControl de recente DeepFloyd IF-benadering overtreft wat betreft OCR-nauwkeurigheid en CLIP-scores, wat de doeltreffendheid van onze methode onderstreept.

English

Recently, there has been a growing interest in developing diffusion-based text-to-image generative models capable of generating coherent and well-formed visual text. In this paper, we propose a novel and efficient approach called GlyphControl to address this task. Unlike existing methods that rely on character-aware text encoders like ByT5 and require retraining of text-to-image models, our approach leverages additional glyph conditional information to enhance the performance of the off-the-shelf Stable-Diffusion model in generating accurate visual text. By incorporating glyph instructions, users can customize the content, location, and size of the generated text according to their specific requirements. To facilitate further research in visual text generation, we construct a training benchmark dataset called LAION-Glyph. We evaluate the effectiveness of our approach by measuring OCR-based metrics and CLIP scores of the generated visual text. Our empirical evaluations demonstrate that GlyphControl outperforms the recent DeepFloyd IF approach in terms of OCR accuracy and CLIP scores, highlighting the efficacy of our method.