TextCrafter: Nauwkeurig Weergeven van Meerdere Teksten in Complexe Visuele Scènes

TextCrafter: Accurately Rendering Multiple Texts in Complex Visual Scenes

March 30, 2025

Auteurs: Nikai Du, Zhennan Chen, Zhizhou Chen, Shan Gao, Xi Chen, Zhengkai Jiang, Jian Yang, Ying Tai

cs.AI

Samenvatting

Dit artikel onderzoekt de taak van Complex Visual Text Generation (CVTG), die zich richt op het genereren van ingewikkelde tekstuele inhoud die verspreid is over diverse regio's binnen visuele afbeeldingen. Bij CVTG genereren beeldgeneratiemodellen vaak vervormde en wazige visuele tekst of missen ze bepaalde visuele tekst. Om deze uitdagingen aan te pakken, stellen we TextCrafter voor, een nieuwe methode voor het renderen van meerdere visuele teksten. TextCrafter gebruikt een progressieve strategie om complexe visuele tekst te ontbinden in afzonderlijke componenten, terwijl een robuuste uitlijning tussen tekstuele inhoud en de visuele drager wordt gegarandeerd. Daarnaast bevat het een token focus-versterkingsmechanisme om de prominentie van visuele tekst tijdens het generatieproces te vergroten. TextCrafter lost effectief belangrijke uitdagingen in CVTG-taken op, zoals tekstverwarring, weglatingen en onscherpte. Bovendien presenteren we een nieuwe benchmarkdataset, CVTG-2K, die speciaal is ontworpen om de prestaties van generatieve modellen op CVTG-taken rigoureus te evalueren. Uitgebreide experimenten tonen aan dat onze methode state-of-the-art benaderingen overtreft.

English

This paper explores the task of Complex Visual Text Generation (CVTG), which centers on generating intricate textual content distributed across diverse regions within visual images. In CVTG, image generation models often rendering distorted and blurred visual text or missing some visual text. To tackle these challenges, we propose TextCrafter, a novel multi-visual text rendering method. TextCrafter employs a progressive strategy to decompose complex visual text into distinct components while ensuring robust alignment between textual content and its visual carrier. Additionally, it incorporates a token focus enhancement mechanism to amplify the prominence of visual text during the generation process. TextCrafter effectively addresses key challenges in CVTG tasks, such as text confusion, omissions, and blurriness. Moreover, we present a new benchmark dataset, CVTG-2K, tailored to rigorously evaluate the performance of generative models on CVTG tasks. Extensive experiments demonstrate that our method surpasses state-of-the-art approaches.