TextDiffuser: Diffusionsmodelle als Textmaler

TextDiffuser: Diffusion Models as Text Painters

May 18, 2023

Autoren: Jingye Chen, Yupan Huang, Tengchao Lv, Lei Cui, Qifeng Chen, Furu Wei

cs.AI

Zusammenfassung

Diffusionsmodelle haben aufgrund ihrer beeindruckenden Generierungsfähigkeiten zunehmend Aufmerksamkeit erregt, stehen jedoch derzeit vor der Herausforderung, präzisen und kohärenten Text darzustellen. Um dieses Problem zu adressieren, stellen wir TextDiffuser vor, das sich auf die Erzeugung von Bildern mit visuell ansprechendem Text konzentriert, der mit den Hintergründen harmonisiert. TextDiffuser besteht aus zwei Stufen: Zunächst generiert ein Transformer-Modell das Layout von Schlüsselwörtern, die aus Textprompts extrahiert werden, und anschließend erzeugen Diffusionsmodelle Bilder, die auf dem Textprompt und dem generierten Layout basieren. Zusätzlich stellen wir den ersten groß angelegten Datensatz von Textbildern mit OCR-Annotationen vor, MARIO-10M, der 10 Millionen Bild-Text-Paare mit Texterkennungs-, Detektions- und zeichenbasierten Segmentierungsannotationen enthält. Weiterhin haben wir den MARIO-Eval-Benchmark zusammengestellt, der als umfassendes Werkzeug zur Bewertung der Textdarstellungsqualität dient. Durch Experimente und Benutzerstudien zeigen wir, dass TextDiffuser flexibel und steuerbar ist, um hochwertige Textbilder allein mit Textprompts oder in Kombination mit Textvorlagenbildern zu erstellen, und führen Textinpainting durch, um unvollständige Bilder mit Text zu rekonstruieren. Der Code, das Modell und der Datensatz werden unter https://aka.ms/textdiffuser verfügbar sein.

English

Diffusion models have gained increasing attention for their impressive generation abilities but currently struggle with rendering accurate and coherent text. To address this issue, we introduce TextDiffuser, focusing on generating images with visually appealing text that is coherent with backgrounds. TextDiffuser consists of two stages: first, a Transformer model generates the layout of keywords extracted from text prompts, and then diffusion models generate images conditioned on the text prompt and the generated layout. Additionally, we contribute the first large-scale text images dataset with OCR annotations, MARIO-10M, containing 10 million image-text pairs with text recognition, detection, and character-level segmentation annotations. We further collect the MARIO-Eval benchmark to serve as a comprehensive tool for evaluating text rendering quality. Through experiments and user studies, we show that TextDiffuser is flexible and controllable to create high-quality text images using text prompts alone or together with text template images, and conduct text inpainting to reconstruct incomplete images with text. The code, model, and dataset will be available at https://aka.ms/textdiffuser.