Más allá de las palabras: Avanzando en la generación de imágenes de texto largo mediante modelos autorregresivos multimodales

Beyond Words: Advancing Long-Text Image Generation via Multimodal Autoregressive Models

March 26, 2025

Autores: Alex Jinpeng Wang, Linjie Li, Zhengyuan Yang, Lijuan Wang, Min Li

cs.AI

Resumen

Los recientes avances en modelos autoregresivos y de difusión han logrado un rendimiento sólido en la generación de imágenes con palabras cortas de texto en escenas. Sin embargo, generar texto coherente y extenso en imágenes, como párrafos en diapositivas o documentos, sigue siendo un desafío importante para los modelos generativos actuales. Presentamos el primer trabajo específicamente enfocado en la generación de imágenes con texto extenso, abordando una brecha crítica en los sistemas existentes de texto a imagen que generalmente manejan solo frases breves u oraciones individuales. A través de un análisis exhaustivo de los modelos de generación autoregresiva de vanguardia, identificamos al tokenizador de imágenes como un cuello de botella crítico en la calidad de la generación de texto. Para abordar esto, introducimos un novedoso tokenizador binario centrado en texto, optimizado para capturar características detalladas de texto en escenas. Aprovechando nuestro tokenizador, desarrollamos \ModelName, un modelo autoregresivo multimodal que sobresale en la generación de imágenes de texto extenso de alta calidad con una fidelidad sin precedentes. Nuestro modelo ofrece una robusta capacidad de control, permitiendo la personalización de propiedades del texto como estilo de fuente, tamaño, color y alineación. Experimentos extensos demuestran que \ModelName~supera significativamente a SD3.5 Large~sd3 y GPT4o~gpt4o con DALL-E 3~dalle3 en la generación precisa, consistente y flexible de texto extenso. Más allá de sus logros técnicos, \ModelName~abre emocionantes oportunidades para aplicaciones innovadoras como la generación intercalada de documentos y presentaciones de PowerPoint, estableciendo una nueva frontera en la generación de imágenes con texto extenso.

English

Recent advancements in autoregressive and diffusion models have led to strong performance in image generation with short scene text words. However, generating coherent, long-form text in images, such as paragraphs in slides or documents, remains a major challenge for current generative models. We present the first work specifically focused on long text image generation, addressing a critical gap in existing text-to-image systems that typically handle only brief phrases or single sentences. Through comprehensive analysis of state-of-the-art autoregressive generation models, we identify the image tokenizer as a critical bottleneck in text generating quality. To address this, we introduce a novel text-focused, binary tokenizer optimized for capturing detailed scene text features. Leveraging our tokenizer, we develop \ModelName, a multimodal autoregressive model that excels in generating high-quality long-text images with unprecedented fidelity. Our model offers robust controllability, enabling customization of text properties such as font style, size, color, and alignment. Extensive experiments demonstrate that \ModelName~significantly outperforms SD3.5 Large~sd3 and GPT4o~gpt4o with DALL-E 3~dalle3 in generating long text accurately, consistently, and flexibly. Beyond its technical achievements, \ModelName~opens up exciting opportunities for innovative applications like interleaved document and PowerPoint generation, establishing a new frontier in long-text image generating.