За пределами слов: развитие генерации изображений на основе длинных текстов с помощью мультимодальных авторегрессивных моделей

Beyond Words: Advancing Long-Text Image Generation via Multimodal Autoregressive Models

March 26, 2025

Авторы: Alex Jinpeng Wang, Linjie Li, Zhengyuan Yang, Lijuan Wang, Min Li

cs.AI

Аннотация

Последние достижения в области авторегрессионных и диффузионных моделей привели к значительному улучшению качества генерации изображений с короткими текстовыми надписями. Однако создание связного длинного текста в изображениях, такого как параграфы в слайдах или документах, остается серьезной проблемой для современных генеративных моделей. Мы представляем первую работу, специально посвященную генерации изображений с длинным текстом, устраняя критический пробел в существующих системах "текст-в-изображение", которые обычно обрабатывают только короткие фразы или отдельные предложения. В результате всестороннего анализа современных авторегрессионных моделей генерации мы выявили, что токенизатор изображений является ключевым узким местом, ограничивающим качество генерации текста. Для решения этой проблемы мы предлагаем новый текстоориентированный бинарный токенизатор, оптимизированный для захвата детальных особенностей текста в сценах. Используя наш токенизатор, мы разработали \ModelName, мультимодальную авторегрессионную модель, которая превосходно справляется с генерацией изображений с длинным текстом, обеспечивая беспрецедентную точность. Наша модель предлагает высокую степень управляемости, позволяя настраивать свойства текста, такие как стиль шрифта, размер, цвет и выравнивание. Многочисленные эксперименты демонстрируют, что \ModelName значительно превосходит SD3.5 Large~sd3 и GPT4o~gpt4o с DALL-E 3~dalle3 в точной, последовательной и гибкой генерации длинного текста. Помимо технических достижений, \ModelName открывает захватывающие возможности для инновационных приложений, таких как генерация документов и презентаций PowerPoint с чередующимся текстом, устанавливая новый рубеж в области генерации изображений с длинным текстом.

English

Recent advancements in autoregressive and diffusion models have led to strong performance in image generation with short scene text words. However, generating coherent, long-form text in images, such as paragraphs in slides or documents, remains a major challenge for current generative models. We present the first work specifically focused on long text image generation, addressing a critical gap in existing text-to-image systems that typically handle only brief phrases or single sentences. Through comprehensive analysis of state-of-the-art autoregressive generation models, we identify the image tokenizer as a critical bottleneck in text generating quality. To address this, we introduce a novel text-focused, binary tokenizer optimized for capturing detailed scene text features. Leveraging our tokenizer, we develop \ModelName, a multimodal autoregressive model that excels in generating high-quality long-text images with unprecedented fidelity. Our model offers robust controllability, enabling customization of text properties such as font style, size, color, and alignment. Extensive experiments demonstrate that \ModelName~significantly outperforms SD3.5 Large~sd3 and GPT4o~gpt4o with DALL-E 3~dalle3 in generating long text accurately, consistently, and flexibly. Beyond its technical achievements, \ModelName~opens up exciting opportunities for innovative applications like interleaved document and PowerPoint generation, establishing a new frontier in long-text image generating.