Weiterentwicklung der WordArt-orientierten Szenentexterkennung: Datensätze und Methoden

Zusammenfassung

WordArt (künstlerischer Text) zeichnet sich durch hochgradig angepasste Schriftarten, Texturen und Layouts aus, wodurch die WordArt-orientierte Szenentexterkennung (WATER) wesentlich anspruchsvoller ist als die allgemeine Szenentexterkennung (STR). Bestehende STR-Datensätze und -Methoden, die typischerweise auf reguläre Szenentexte und Eingaben mit festen Vorlagen ausgelegt sind, können nur schwer auf WATER skaliert werden. Daher zielen wir darauf ab, diese Aufgabe sowohl aus Daten- als auch aus Modellperspektive voranzutreiben. Auf der Datenseite konstruieren wir einen 2M großen synthetischen Datensatz, WATER-S, dessen Umfang im Vergleich zu bestehenden künstlerischen Textdaten um das Hundertefache verbessert wurde. WATER-S besteht aus zwei komplementären Teilmengen. Die eine wird durch eine verbesserte Rendering-Pipeline (SynthWordArt) erzeugt, die hochpräzise und kontrollierbare synthetische WordArt-Daten liefert. Die andere wird durch die Kombination von Qwen3-VL für das Prompt Mining und Z-Image für die Bildsynthese generiert, was die Abdeckung realistischer und vielfältiger Daten verbessert. Auf der Modellseite schlagen wir WATERec vor. Es verwendet einen visuellen Encoder, der Eingaben beliebiger Form unterstützt, und einen autoregressiven Decoder zur Modellierung komplexer Layouts, wodurch der Engpass von festen STR-Vorlagen bei WordArt strukturell durchbrochen wird. Experimente zeigen, dass diese Architektur frühere STR-Methoden übertrifft und bei unregelmäßigen Texten wie WordArt den neuesten Stand der Technik erreicht. Zusammen mit WATER-R, das sorgfältig aus vorhandenen realen STR-Daten reorganisiert wurde, erreicht unsere starke Baseline mit den neuen synthetischen Daten und dem Modell-Design eine Genauigkeit von 90,40 % auf WordArt-Bench und übertrifft sowohl allgemeine als auch OCR-spezialisierte Vision-Language-Modelle mit großem Abstand. Code und Daten sind verfügbar unter https://github.com/YesianRohn/WATER.

English

WordArt (artistic text) features highly customized fonts, textures, and layouts, making WordArt-oriented scene TExt Recognition (WATER) substantially more challenging than general Scene Text Recognition (STR). Existing STR datasets and methods, typically built around regular scene text and fixed-template inputs, struggle to scale to WATER. Thus, we aim to advance this task from both data and model perspectives. On the data side, we construct a 2M synthetic dataset, WATER-S, with the scale improved by hundreds of times compared to existing artistic text data. WATER-S consists of two complementary subsets. One rendered by an upgraded rendering pipeline (SynthWordArt), which provides highly accurate and controllable synthetic WordArt data. The other is generated by combining Qwen3-VL for prompt mining and Z-Image for image synthesis, which improves the coverage of realistic and diverse data. On the model side, we propose WATERec. It adopts an visual encoder supporting arbitrary-shaped inputs and an autoregressive decoder to model complex layouts, structurally breaking the bottleneck of fixed-template STR on WordArt. Experiments show that this architecture outperforms prior STR methods, achieving state-of-the-art performance on irregular texts such as WordArt. Together with WATER-R, carefully reorganized from existing real STR data, our strong baseline with the new synthetic data and model design reaches 90.40% accuracy on WordArt-Bench, surpassing both general-purpose and OCR-specialized vision-language models by a large margin. Code and data are available at https://github.com/YesianRohn/WATER.