Generación de Texto Visual en Entornos Naturales

Visual Text Generation in the Wild

July 19, 2024

Autores: Yuanzhi Zhu, Jiawei Liu, Feiyu Gao, Wenyu Liu, Xinggang Wang, Peng Wang, Fei Huang, Cong Yao, Zhibo Yang

cs.AI

Resumen

Recientemente, con los rápidos avances de los modelos generativos, el campo de generación de texto visual ha presenciado un progreso significativo. Sin embargo, sigue siendo desafiante renderizar imágenes de texto de alta calidad en escenarios del mundo real, ya que deben cumplirse tres criterios críticos: (1) Fidelidad: las imágenes de texto generadas deben ser fotorrealistas y se espera que los contenidos sean los mismos que se especifican en las condiciones dadas; (2) Coherencia: las regiones y contenidos del texto generado deben coherir con la escena; (3) Utilidad: las imágenes de texto generadas pueden facilitar tareas relacionadas (por ejemplo, detección y reconocimiento de texto). Tras una investigación, encontramos que los métodos existentes, ya sean basados en renderizado o difusión, apenas pueden satisfacer todos estos aspectos simultáneamente, lo que limita su rango de aplicación. Por lo tanto, proponemos en este artículo un generador de texto visual (denominado SceneVTG), que puede producir imágenes de texto de alta calidad en entornos salvajes. Siguiendo un paradigma de dos etapas, SceneVTG aprovecha un Modelo de Lenguaje Multimodal Grande para recomendar regiones y contenidos de texto razonables en múltiples escalas y niveles, que son utilizados por un modelo de difusión condicional como condiciones para generar imágenes de texto. Experimentos extensos demuestran que el SceneVTG propuesto supera significativamente a los métodos tradicionales basados en renderizado y a los métodos recientes basados en difusión en términos de fidelidad y coherencia. Además, las imágenes generadas proporcionan una utilidad superior para tareas que implican detección y reconocimiento de texto. El código y los conjuntos de datos están disponibles en AdvancedLiterateMachinery.

English

Recently, with the rapid advancements of generative models, the field of visual text generation has witnessed significant progress. However, it is still challenging to render high-quality text images in real-world scenarios, as three critical criteria should be satisfied: (1) Fidelity: the generated text images should be photo-realistic and the contents are expected to be the same as specified in the given conditions; (2) Reasonability: the regions and contents of the generated text should cohere with the scene; (3) Utility: the generated text images can facilitate related tasks (e.g., text detection and recognition). Upon investigation, we find that existing methods, either rendering-based or diffusion-based, can hardly meet all these aspects simultaneously, limiting their application range. Therefore, we propose in this paper a visual text generator (termed SceneVTG), which can produce high-quality text images in the wild. Following a two-stage paradigm, SceneVTG leverages a Multimodal Large Language Model to recommend reasonable text regions and contents across multiple scales and levels, which are used by a conditional diffusion model as conditions to generate text images. Extensive experiments demonstrate that the proposed SceneVTG significantly outperforms traditional rendering-based methods and recent diffusion-based methods in terms of fidelity and reasonability. Besides, the generated images provide superior utility for tasks involving text detection and text recognition. Code and datasets are available at AdvancedLiterateMachinery.