Voorbij Woorden: Vooruitgang in Lange-Tekst Beeldgeneratie via Multimodale Autoregressieve Modellen

Beyond Words: Advancing Long-Text Image Generation via Multimodal Autoregressive Models

March 26, 2025

Auteurs: Alex Jinpeng Wang, Linjie Li, Zhengyuan Yang, Lijuan Wang, Min Li

cs.AI

Samenvatting

Recente vooruitgang in autoregressieve en diffusiemodellen heeft geleid tot sterke prestaties in het genereren van afbeeldingen met korte scènetekstwoorden. Het genereren van samenhangende, langere tekst in afbeeldingen, zoals alinea's in presentaties of documenten, blijft echter een grote uitdaging voor huidige generatieve modellen. Wij presenteren het eerste werk dat specifiek gericht is op het genereren van lange tekst in afbeeldingen, waarmee we een kritische leemte in bestaande tekst-naar-afbeelding systemen aanpakken die doorgaans alleen korte zinnen of enkele zinnen verwerken. Door een uitgebreide analyse van state-of-the-art autoregressieve generatiemodellen, identificeren we de afbeeldingstokenizer als een kritieke bottleneck in de kwaliteit van tekstgeneratie. Om dit aan te pakken, introduceren we een nieuwe, tekstgerichte binaire tokenizer die is geoptimaliseerd voor het vastleggen van gedetailleerde scènetekstkenmerken. Met behulp van onze tokenizer ontwikkelen we \ModelName, een multimodaal autoregressief model dat uitblinkt in het genereren van hoogwaardige afbeeldingen met lange tekst met ongekende nauwkeurigheid. Ons model biedt robuuste aanpasbaarheid, waardoor het mogelijk is om tekstkenmerken zoals lettertype, grootte, kleur en uitlijning aan te passen. Uitgebreide experimenten tonen aan dat \ModelName~aanzienlijk beter presteert dan SD3.5 Large~sd3 en GPT4o~gpt4o met DALL-E 3~dalle3 in het nauwkeurig, consistent en flexibel genereren van lange tekst. Naast de technische prestaties opent \ModelName~spannende mogelijkheden voor innovatieve toepassingen zoals het genereren van interleaved documenten en PowerPoint-presentaties, waarmee een nieuw tijdperk in het genereren van lange tekst in afbeeldingen wordt ingeluid.

English

Recent advancements in autoregressive and diffusion models have led to strong performance in image generation with short scene text words. However, generating coherent, long-form text in images, such as paragraphs in slides or documents, remains a major challenge for current generative models. We present the first work specifically focused on long text image generation, addressing a critical gap in existing text-to-image systems that typically handle only brief phrases or single sentences. Through comprehensive analysis of state-of-the-art autoregressive generation models, we identify the image tokenizer as a critical bottleneck in text generating quality. To address this, we introduce a novel text-focused, binary tokenizer optimized for capturing detailed scene text features. Leveraging our tokenizer, we develop \ModelName, a multimodal autoregressive model that excels in generating high-quality long-text images with unprecedented fidelity. Our model offers robust controllability, enabling customization of text properties such as font style, size, color, and alignment. Extensive experiments demonstrate that \ModelName~significantly outperforms SD3.5 Large~sd3 and GPT4o~gpt4o with DALL-E 3~dalle3 in generating long text accurately, consistently, and flexibly. Beyond its technical achievements, \ModelName~opens up exciting opportunities for innovative applications like interleaved document and PowerPoint generation, establishing a new frontier in long-text image generating.