TextDiffuser: Диффузионные модели как художники текста

TextDiffuser: Diffusion Models as Text Painters

May 18, 2023

Авторы: Jingye Chen, Yupan Huang, Tengchao Lv, Lei Cui, Qifeng Chen, Furu Wei

cs.AI

Аннотация

Диффузионные модели привлекают всё больше внимания благодаря своим впечатляющим способностям к генерации, однако в настоящее время они сталкиваются с трудностями в создании точного и связного текста. Для решения этой проблемы мы представляем TextDiffuser, который фокусируется на генерации изображений с визуально привлекательным текстом, гармонирующим с фоном. TextDiffuser состоит из двух этапов: сначала модель на основе Transformer генерирует макет ключевых слов, извлечённых из текстовых запросов, а затем диффузионные модели создают изображения, учитывая текстовый запрос и сгенерированный макет. Кроме того, мы представляем первый крупномасштабный набор данных текстовых изображений с OCR-аннотациями, MARIO-10M, содержащий 10 миллионов пар изображение-текст с аннотациями для распознавания, обнаружения и сегментации текста на уровне символов. Мы также собираем эталонный набор данных MARIO-Eval, который служит комплексным инструментом для оценки качества визуализации текста. В ходе экспериментов и пользовательских исследований мы демонстрируем, что TextDiffuser является гибким и управляемым инструментом для создания высококачественных текстовых изображений с использованием только текстовых запросов или совместно с шаблонными изображениями текста, а также для восстановления неполных изображений с текстом с помощью текстового инпайтинга. Код, модель и набор данных будут доступны по адресу https://aka.ms/textdiffuser.

English

Diffusion models have gained increasing attention for their impressive generation abilities but currently struggle with rendering accurate and coherent text. To address this issue, we introduce TextDiffuser, focusing on generating images with visually appealing text that is coherent with backgrounds. TextDiffuser consists of two stages: first, a Transformer model generates the layout of keywords extracted from text prompts, and then diffusion models generate images conditioned on the text prompt and the generated layout. Additionally, we contribute the first large-scale text images dataset with OCR annotations, MARIO-10M, containing 10 million image-text pairs with text recognition, detection, and character-level segmentation annotations. We further collect the MARIO-Eval benchmark to serve as a comprehensive tool for evaluating text rendering quality. Through experiments and user studies, we show that TextDiffuser is flexible and controllable to create high-quality text images using text prompts alone or together with text template images, and conduct text inpainting to reconstruct incomplete images with text. The code, model, and dataset will be available at https://aka.ms/textdiffuser.