TextCrafter: Точное отображение множества текстов в сложных визуальных сценах

TextCrafter: Accurately Rendering Multiple Texts in Complex Visual Scenes

March 30, 2025

Авторы: Nikai Du, Zhennan Chen, Zhizhou Chen, Shan Gao, Xi Chen, Zhengkai Jiang, Jian Yang, Ying Tai

cs.AI

Аннотация

В данной статье исследуется задача генерации сложного визуального текста (Complex Visual Text Generation, CVTG), которая заключается в создании сложного текстового контента, распределенного по различным областям визуальных изображений. В CVTG модели генерации изображений часто создают искаженный и размытый визуальный текст или пропускают его. Для решения этих проблем мы предлагаем TextCrafter — новый метод рендеринга множественного визуального текста. TextCrafter использует прогрессивную стратегию для декомпозиции сложного визуального текста на отдельные компоненты, обеспечивая при этом точное соответствие между текстовым содержанием и его визуальным носителем. Кроме того, метод включает механизм усиления фокуса на токенах, чтобы повысить заметность визуального текста в процессе генерации. TextCrafter эффективно решает ключевые проблемы в задачах CVTG, такие как путаница в тексте, пропуски и размытость. Также мы представляем новый эталонный набор данных CVTG-2K, разработанный для тщательной оценки производительности генеративных моделей в задачах CVTG. Многочисленные эксперименты показывают, что наш метод превосходит современные подходы.

English

This paper explores the task of Complex Visual Text Generation (CVTG), which centers on generating intricate textual content distributed across diverse regions within visual images. In CVTG, image generation models often rendering distorted and blurred visual text or missing some visual text. To tackle these challenges, we propose TextCrafter, a novel multi-visual text rendering method. TextCrafter employs a progressive strategy to decompose complex visual text into distinct components while ensuring robust alignment between textual content and its visual carrier. Additionally, it incorporates a token focus enhancement mechanism to amplify the prominence of visual text during the generation process. TextCrafter effectively addresses key challenges in CVTG tasks, such as text confusion, omissions, and blurriness. Moreover, we present a new benchmark dataset, CVTG-2K, tailored to rigorously evaluate the performance of generative models on CVTG tasks. Extensive experiments demonstrate that our method surpasses state-of-the-art approaches.