Генерация текста в естественной среде.

Visual Text Generation in the Wild

July 19, 2024

Авторы: Yuanzhi Zhu, Jiawei Liu, Feiyu Gao, Wenyu Liu, Xinggang Wang, Peng Wang, Fei Huang, Cong Yao, Zhibo Yang

cs.AI

Аннотация

В последнее время, с быстрыми достижениями генеративных моделей, область генерации визуального текста переживает значительный прогресс. Однако по-прежнему вызывает трудности создание высококачественных изображений текста в реальных сценариях, так как необходимо удовлетворить три критических критерия: (1) Достоверность: сгенерированные изображения текста должны быть фотореалистичными, а содержание должно соответствовать заданным условиям; (2) Обоснованность: области и содержание сгенерированного текста должны соответствовать сцене; (3) Полезность: сгенерированные изображения текста могут облегчить связанные задачи (например, обнаружение и распознавание текста). Проведя исследование, мы обнаружили, что существующие методы, основанные на рендеринге или диффузии, едва ли могут одновременно удовлетворить все эти аспекты, что ограничивает их область применения. Поэтому в данной статье мы предлагаем визуальный генератор текста (названный SceneVTG), который способен создавать высококачественные изображения текста в естественной среде. Следуя двухэтапной парадигме, SceneVTG использует Мультимодельную Большую Языковую Модель для рекомендации разумных областей и содержания текста на различных масштабах и уровнях, которые используются условиями для генерации изображений текста с помощью условной модели диффузии. Обширные эксперименты показывают, что предложенный SceneVTG значительно превосходит традиционные методы, основанные на рендеринге, и недавние методы на основе диффузии по достоверности и обоснованности. Кроме того, сгенерированные изображения обладают превосходной полезностью для задач, связанных с обнаружением и распознаванием текста. Код и наборы данных доступны на AdvancedLiterateMachinery.

English

Recently, with the rapid advancements of generative models, the field of visual text generation has witnessed significant progress. However, it is still challenging to render high-quality text images in real-world scenarios, as three critical criteria should be satisfied: (1) Fidelity: the generated text images should be photo-realistic and the contents are expected to be the same as specified in the given conditions; (2) Reasonability: the regions and contents of the generated text should cohere with the scene; (3) Utility: the generated text images can facilitate related tasks (e.g., text detection and recognition). Upon investigation, we find that existing methods, either rendering-based or diffusion-based, can hardly meet all these aspects simultaneously, limiting their application range. Therefore, we propose in this paper a visual text generator (termed SceneVTG), which can produce high-quality text images in the wild. Following a two-stage paradigm, SceneVTG leverages a Multimodal Large Language Model to recommend reasonable text regions and contents across multiple scales and levels, which are used by a conditional diffusion model as conditions to generate text images. Extensive experiments demonstrate that the proposed SceneVTG significantly outperforms traditional rendering-based methods and recent diffusion-based methods in terms of fidelity and reasonability. Besides, the generated images provide superior utility for tasks involving text detection and text recognition. Code and datasets are available at AdvancedLiterateMachinery.