Visuelle Textgenerierung in freier Wildbahn

Visual Text Generation in the Wild

July 19, 2024

Autoren: Yuanzhi Zhu, Jiawei Liu, Feiyu Gao, Wenyu Liu, Xinggang Wang, Peng Wang, Fei Huang, Cong Yao, Zhibo Yang

cs.AI

Zusammenfassung

In letzter Zeit hat das Feld der visuellen Textgenerierung dank der schnellen Fortschritte bei generativen Modellen signifikante Fortschritte gemacht. Es bleibt jedoch eine Herausforderung, hochwertige Textbilder in realen Szenarien zu erzeugen, da drei wesentliche Kriterien erfüllt sein müssen: (1) Treue: Die generierten Textbilder sollten fotorealistisch sein und die Inhalte sollten den in den gegebenen Bedingungen festgelegten entsprechen; (2) Vernünftigkeit: Die Regionen und Inhalte des generierten Texts sollten mit der Szene zusammenhängen; (3) Nützlichkeit: Die generierten Textbilder können verwandte Aufgaben (z. B. Texterkennung und -erkennung) erleichtern. Bei der Untersuchung stellen wir fest, dass bestehende Methoden, ob auf Rendering- oder Diffusionsbasis, kaum alle diese Aspekte gleichzeitig erfüllen können, was ihren Anwendungsbereich einschränkt. Daher schlagen wir in diesem Papier einen visuellen Textgenerator vor (bezeichnet als SceneVTG), der hochwertige Textbilder in freier Wildbahn erzeugen kann. SceneVTG nutzt ein Multimodales Großes Sprachmodell in einem Zwei-Stufen-Paradigma, um vernünftige Textregionen und -inhalte über mehrere Maßstäbe und Ebenen hinweg zu empfehlen, die von einem bedingten Diffusionsmodell als Bedingungen zur Generierung von Textbildern verwendet werden. Umfangreiche Experimente zeigen, dass der vorgeschlagene SceneVTG in Bezug auf Treue und Vernünftigkeit signifikant besser abschneidet als traditionelle Rendering-basierte Methoden und aktuelle Diffusions-basierte Methoden. Darüber hinaus bieten die generierten Bilder eine überlegene Nützlichkeit für Aufgaben, die Texterkennung und -erkennung beinhalten. Code und Datensätze sind auf AdvancedLiterateMachinery verfügbar.

English

Recently, with the rapid advancements of generative models, the field of visual text generation has witnessed significant progress. However, it is still challenging to render high-quality text images in real-world scenarios, as three critical criteria should be satisfied: (1) Fidelity: the generated text images should be photo-realistic and the contents are expected to be the same as specified in the given conditions; (2) Reasonability: the regions and contents of the generated text should cohere with the scene; (3) Utility: the generated text images can facilitate related tasks (e.g., text detection and recognition). Upon investigation, we find that existing methods, either rendering-based or diffusion-based, can hardly meet all these aspects simultaneously, limiting their application range. Therefore, we propose in this paper a visual text generator (termed SceneVTG), which can produce high-quality text images in the wild. Following a two-stage paradigm, SceneVTG leverages a Multimodal Large Language Model to recommend reasonable text regions and contents across multiple scales and levels, which are used by a conditional diffusion model as conditions to generate text images. Extensive experiments demonstrate that the proposed SceneVTG significantly outperforms traditional rendering-based methods and recent diffusion-based methods in terms of fidelity and reasonability. Besides, the generated images provide superior utility for tasks involving text detection and text recognition. Code and datasets are available at AdvancedLiterateMachinery.