Visuele Tekstgeneratie in de Praktijk

Visual Text Generation in the Wild

July 19, 2024

Auteurs: Yuanzhi Zhu, Jiawei Liu, Feiyu Gao, Wenyu Liu, Xinggang Wang, Peng Wang, Fei Huang, Cong Yao, Zhibo Yang

cs.AI

Samenvatting

Onlangs, met de snelle vooruitgang van generatieve modellen, heeft het vakgebied van visuele tekstgeneratie aanzienlijke vooruitgang geboekt. Het blijft echter een uitdaging om hoogwaardige tekstafbeeldingen te genereren in realistische scenario's, aangezien aan drie kritieke criteria moet worden voldaan: (1) Getrouwheid: de gegenereerde tekstafbeeldingen moeten fotorealistisch zijn en de inhoud moet overeenkomen met de opgegeven voorwaarden; (2) Redelijkheid: de regio's en inhoud van de gegenereerde tekst moeten samenhangen met de scène; (3) Bruikbaarheid: de gegenereerde tekstafbeeldingen moeten gerelateerde taken (bijvoorbeeld tekstdetectie en -herkenning) kunnen ondersteunen. Na onderzoek blijkt dat bestaande methoden, zowel rendering-gebaseerd als diffusie-gebaseerd, moeilijk aan al deze aspecten tegelijk kunnen voldoen, wat hun toepassingsbereik beperkt. Daarom stellen we in dit artikel een visuele tekstgenerator voor (genaamd SceneVTG), die hoogwaardige tekstafbeeldingen in natuurlijke omgevingen kan produceren. Volgens een tweefasenparadigma maakt SceneVTG gebruik van een Multimodaal Taalmodel op grote schaal om redelijke tekstregio's en -inhoud op meerdere schalen en niveaus aan te bevelen, die vervolgens door een conditioneel diffusiemodel als voorwaarden worden gebruikt om tekstafbeeldingen te genereren. Uitgebreide experimenten tonen aan dat de voorgestelde SceneVTG traditionele rendering-gebaseerde methoden en recente diffusie-gebaseerde methoden aanzienlijk overtreft wat betreft getrouwheid en redelijkheid. Bovendien bieden de gegenereerde afbeeldingen superieure bruikbaarheid voor taken die tekstdetectie en tekstherkenning omvatten. Code en datasets zijn beschikbaar op AdvancedLiterateMachinery.

English

Recently, with the rapid advancements of generative models, the field of visual text generation has witnessed significant progress. However, it is still challenging to render high-quality text images in real-world scenarios, as three critical criteria should be satisfied: (1) Fidelity: the generated text images should be photo-realistic and the contents are expected to be the same as specified in the given conditions; (2) Reasonability: the regions and contents of the generated text should cohere with the scene; (3) Utility: the generated text images can facilitate related tasks (e.g., text detection and recognition). Upon investigation, we find that existing methods, either rendering-based or diffusion-based, can hardly meet all these aspects simultaneously, limiting their application range. Therefore, we propose in this paper a visual text generator (termed SceneVTG), which can produce high-quality text images in the wild. Following a two-stage paradigm, SceneVTG leverages a Multimodal Large Language Model to recommend reasonable text regions and contents across multiple scales and levels, which are used by a conditional diffusion model as conditions to generate text images. Extensive experiments demonstrate that the proposed SceneVTG significantly outperforms traditional rendering-based methods and recent diffusion-based methods in terms of fidelity and reasonability. Besides, the generated images provide superior utility for tasks involving text detection and text recognition. Code and datasets are available at AdvancedLiterateMachinery.