Avanzando en el reconocimiento de texto en escenas orientado a WordArt: conjuntos de datos y métodos

Resumen

Las características de WordArt (texto artístico), como fuentes, texturas y diseños altamente personalizados, hacen que el Reconocimiento de Texto en Escenas con WordArt (WATER) sea considerablemente más desafiante que el Reconocimiento General de Texto en Escenas (STR). Los conjuntos de datos y métodos STR existentes, típicamente diseñados en torno a texto de escena regular y entradas de plantilla fija, tienen dificultades para escalar a WATER. Por ello, nuestro objetivo es avanzar en esta tarea desde las perspectivas de los datos y el modelo. En cuanto a los datos, construimos un conjunto sintético de 2M, WATER-S, cuya escala se ha mejorado cientos de veces en comparación con los datos de texto artístico existentes. WATER-S consta de dos subconjuntos complementarios. Uno se genera mediante un pipeline de renderizado mejorado (SynthWordArt), que proporciona datos WordArt sintéticos altamente precisos y controlables. El otro se genera combinando Qwen3-VL para la minería de indicaciones y Z-Image para la síntesis de imágenes, lo que mejora la cobertura de datos realistas y diversos. En cuanto al modelo, proponemos WATERec. Este adopta un codificador visual que admite entradas de formas arbitrarias y un decodificador autorregresivo para modelar diseños complejos, rompiendo estructuralmente el cuello de botella del STR de plantilla fija en WordArt. Los experimentos muestran que esta arquitectura supera a los métodos STR anteriores, logrando un rendimiento de vanguardia en textos irregulares como WordArt. Junto con WATER-R, cuidadosamente reorganizado a partir de datos STR reales existentes, nuestra línea base sólida con los nuevos datos sintéticos y el diseño del modelo alcanza un 90.40% de precisión en WordArt-Bench, superando por un amplio margen tanto a los modelos de visión-lenguaje de propósito general como a los especializados en OCR. El código y los datos están disponibles en https://github.com/YesianRohn/WATER.

English

WordArt (artistic text) features highly customized fonts, textures, and layouts, making WordArt-oriented scene TExt Recognition (WATER) substantially more challenging than general Scene Text Recognition (STR). Existing STR datasets and methods, typically built around regular scene text and fixed-template inputs, struggle to scale to WATER. Thus, we aim to advance this task from both data and model perspectives. On the data side, we construct a 2M synthetic dataset, WATER-S, with the scale improved by hundreds of times compared to existing artistic text data. WATER-S consists of two complementary subsets. One rendered by an upgraded rendering pipeline (SynthWordArt), which provides highly accurate and controllable synthetic WordArt data. The other is generated by combining Qwen3-VL for prompt mining and Z-Image for image synthesis, which improves the coverage of realistic and diverse data. On the model side, we propose WATERec. It adopts an visual encoder supporting arbitrary-shaped inputs and an autoregressive decoder to model complex layouts, structurally breaking the bottleneck of fixed-template STR on WordArt. Experiments show that this architecture outperforms prior STR methods, achieving state-of-the-art performance on irregular texts such as WordArt. Together with WATER-R, carefully reorganized from existing real STR data, our strong baseline with the new synthetic data and model design reaches 90.40% accuracy on WordArt-Bench, surpassing both general-purpose and OCR-specialized vision-language models by a large margin. Code and data are available at https://github.com/YesianRohn/WATER.