Au-delà des mots : Faire progresser la génération d'images à partir de textes longs grâce à des modèles autorégressifs multimodaux

Beyond Words: Advancing Long-Text Image Generation via Multimodal Autoregressive Models

March 26, 2025

Auteurs: Alex Jinpeng Wang, Linjie Li, Zhengyuan Yang, Lijuan Wang, Min Li

cs.AI

Résumé

Les récents progrès des modèles autorégressifs et de diffusion ont permis d'obtenir des performances impressionnantes dans la génération d'images contenant de courts mots ou phrases. Cependant, la génération de textes longs et cohérents dans des images, tels que des paragraphes dans des diapositives ou des documents, reste un défi majeur pour les modèles génératifs actuels. Nous présentons ici le premier travail spécifiquement dédié à la génération d'images contenant du texte long, comblant ainsi une lacune critique des systèmes texte-à-image existants qui se limitent généralement à des phrases courtes ou à des expressions isolées. À travers une analyse approfondie des modèles de génération autorégressive de pointe, nous identifions le tokenizer d'image comme un goulot d'étranglement majeur affectant la qualité de la génération de texte. Pour y remédier, nous introduisons un nouveau tokenizer binaire axé sur le texte, optimisé pour capturer les caractéristiques détaillées du texte dans les scènes. En exploitant ce tokenizer, nous développons \ModelName, un modèle autorégressif multimodal qui excelle dans la génération d'images contenant du texte long avec une fidélité sans précédent. Notre modèle offre une robuste contrôlabilité, permettant la personnalisation des propriétés du texte telles que le style de police, la taille, la couleur et l'alignement. Des expériences approfondies démontrent que \ModelName~surpasse significativement SD3.5 Large~sd3 et GPT4o~gpt4o avec DALL-E 3~dalle3 en termes de précision, de cohérence et de flexibilité dans la génération de texte long. Au-delà de ses réalisations techniques, \ModelName~ouvre des perspectives passionnantes pour des applications innovantes telles que la génération de documents entrelacés ou de présentations PowerPoint, établissant ainsi une nouvelle frontière dans la génération d'images contenant du texte long.

English

Recent advancements in autoregressive and diffusion models have led to strong performance in image generation with short scene text words. However, generating coherent, long-form text in images, such as paragraphs in slides or documents, remains a major challenge for current generative models. We present the first work specifically focused on long text image generation, addressing a critical gap in existing text-to-image systems that typically handle only brief phrases or single sentences. Through comprehensive analysis of state-of-the-art autoregressive generation models, we identify the image tokenizer as a critical bottleneck in text generating quality. To address this, we introduce a novel text-focused, binary tokenizer optimized for capturing detailed scene text features. Leveraging our tokenizer, we develop \ModelName, a multimodal autoregressive model that excels in generating high-quality long-text images with unprecedented fidelity. Our model offers robust controllability, enabling customization of text properties such as font style, size, color, and alignment. Extensive experiments demonstrate that \ModelName~significantly outperforms SD3.5 Large~sd3 and GPT4o~gpt4o with DALL-E 3~dalle3 in generating long text accurately, consistently, and flexibly. Beyond its technical achievements, \ModelName~opens up exciting opportunities for innovative applications like interleaved document and PowerPoint generation, establishing a new frontier in long-text image generating.