GlyphControl: Условное управление глифами для визуального создания текста
GlyphControl: Glyph Conditional Control for Visual Text Generation
May 29, 2023
Авторы: Yukang Yang, Dongnan Gui, Yuhui Yuan, Haisong Ding, Han Hu, Kai Chen
cs.AI
Аннотация
В последнее время наблюдается растущий интерес к разработке генеративных моделей, основанных на диффузии, способных создавать связный и хорошо сформированный визуальный текст. В данной статье мы предлагаем новый и эффективный подход под названием GlyphControl для решения этой задачи. В отличие от существующих методов, которые полагаются на текстовые кодировщики, учитывающие символы, такие как ByT5, и требуют переобучения моделей для генерации изображений из текста, наш подход использует дополнительную информацию о глифах для повышения производительности готовой модели Stable-Diffusion в создании точного визуального текста. Благодаря включению инструкций по глифам пользователи могут настраивать содержание, расположение и размер генерируемого текста в соответствии с их конкретными требованиями. Для содействия дальнейшим исследованиям в области генерации визуального текста мы создали обучающий эталонный набор данных под названием LAION-Glyph. Мы оцениваем эффективность нашего подхода, измеряя метрики на основе OCR и показатели CLIP для сгенерированного визуального текста. Наши эмпирические оценки демонстрируют, что GlyphControl превосходит недавний подход DeepFloyd IF по точности OCR и показателям CLIP, что подчеркивает эффективность нашего метода.
English
Recently, there has been a growing interest in developing diffusion-based
text-to-image generative models capable of generating coherent and well-formed
visual text. In this paper, we propose a novel and efficient approach called
GlyphControl to address this task. Unlike existing methods that rely on
character-aware text encoders like ByT5 and require retraining of text-to-image
models, our approach leverages additional glyph conditional information to
enhance the performance of the off-the-shelf Stable-Diffusion model in
generating accurate visual text. By incorporating glyph instructions, users can
customize the content, location, and size of the generated text according to
their specific requirements. To facilitate further research in visual text
generation, we construct a training benchmark dataset called LAION-Glyph. We
evaluate the effectiveness of our approach by measuring OCR-based metrics and
CLIP scores of the generated visual text. Our empirical evaluations demonstrate
that GlyphControl outperforms the recent DeepFloyd IF approach in terms of OCR
accuracy and CLIP scores, highlighting the efficacy of our method.