Além das Palavras: Avançando na Geração de Imagens de Texto Longo por meio de Modelos Autoregressivos Multimodais

Beyond Words: Advancing Long-Text Image Generation via Multimodal Autoregressive Models

March 26, 2025

Autores: Alex Jinpeng Wang, Linjie Li, Zhengyuan Yang, Lijuan Wang, Min Li

cs.AI

Resumo

Os recentes avanços em modelos autoregressivos e de difusão têm levado a um forte desempenho na geração de imagens com palavras curtas de texto em cenas. No entanto, gerar textos longos e coerentes em imagens, como parágrafos em slides ou documentos, continua sendo um grande desafio para os modelos generativos atuais. Apresentamos o primeiro trabalho especificamente focado na geração de imagens com textos longos, abordando uma lacuna crítica nos sistemas existentes de texto para imagem, que normalmente lidam apenas com frases curtas ou sentenças únicas. Através de uma análise abrangente dos modelos de geração autoregressiva de última geração, identificamos o tokenizador de imagem como um gargalo crítico na qualidade da geração de texto. Para resolver isso, introduzimos um novo tokenizador binário focado em texto, otimizado para capturar características detalhadas de texto em cenas. Utilizando nosso tokenizador, desenvolvemos o \ModelName, um modelo autoregressivo multimodal que se destaca na geração de imagens de texto longo de alta qualidade com fidelidade sem precedentes. Nosso modelo oferece robusta controlabilidade, permitindo a personalização de propriedades de texto, como estilo de fonte, tamanho, cor e alinhamento. Experimentos extensivos demonstram que o \ModelName~supera significativamente o SD3.5 Large~sd3 e o GPT4o~gpt4o com DALL-E 3~dalle3 na geração de textos longos de forma precisa, consistente e flexível. Além de suas conquistas técnicas, o \ModelName~abre oportunidades emocionantes para aplicações inovadoras, como a geração intercalada de documentos e PowerPoints, estabelecendo uma nova fronteira na geração de imagens com textos longos.

English

Recent advancements in autoregressive and diffusion models have led to strong performance in image generation with short scene text words. However, generating coherent, long-form text in images, such as paragraphs in slides or documents, remains a major challenge for current generative models. We present the first work specifically focused on long text image generation, addressing a critical gap in existing text-to-image systems that typically handle only brief phrases or single sentences. Through comprehensive analysis of state-of-the-art autoregressive generation models, we identify the image tokenizer as a critical bottleneck in text generating quality. To address this, we introduce a novel text-focused, binary tokenizer optimized for capturing detailed scene text features. Leveraging our tokenizer, we develop \ModelName, a multimodal autoregressive model that excels in generating high-quality long-text images with unprecedented fidelity. Our model offers robust controllability, enabling customization of text properties such as font style, size, color, and alignment. Extensive experiments demonstrate that \ModelName~significantly outperforms SD3.5 Large~sd3 and GPT4o~gpt4o with DALL-E 3~dalle3 in generating long text accurately, consistently, and flexibly. Beyond its technical achievements, \ModelName~opens up exciting opportunities for innovative applications like interleaved document and PowerPoint generation, establishing a new frontier in long-text image generating.