Avancement de la reconnaissance de texte de scène orientée WordArt : jeux de données et méthodes

Résumé

Les fonctionnalités de WordArt (texte artistique) offrent des polices, textures et mises en page hautement personnalisées, ce qui rend la Reconnaissance de Texte en Scène orientée WordArt (WATER) considérablement plus difficile que la Reconnaissance de Texte en Scène (STR) générale. Les ensembles de données et méthodes STR existants, généralement construits autour de textes de scène réguliers et d'entrées à gabarit fixe, peinent à s'adapter à WATER. Ainsi, nous visons à faire progresser cette tâche tant du point de vue des données que des modèles. Côté données, nous construisons un ensemble de données synthétiques de 2 millions d'échantillons, WATER-S, dont l'échelle est améliorée de plusieurs centaines de fois par rapport aux données de texte artistique existantes. WATER-S se compose de deux sous-ensembles complémentaires. L'un est rendu par un pipeline de rendu amélioré (SynthWordArt), qui fournit des données WordArt synthétiques hautement précises et contrôlables. L'autre est généré en combinant Qwen3-VL pour l'extraction de prompts et Z-Image pour la synthèse d'images, ce qui améliore la couverture de données réalistes et diversifiées. Côté modèle, nous proposons WATERec. Il adopte un encodeur visuel prenant en charge des entrées de forme arbitraire et un décodeur autorégressif pour modéliser des mises en page complexes, brisant structurellement le goulot d'étranglement de la STR à gabarit fixe sur WordArt. Les expériences montrent que cette architecture surpasse les méthodes STR antérieures, atteignant des performances de pointe sur les textes irréguliers tels que WordArt. En combinaison avec WATER-R, soigneusement réorganisé à partir de données STR réelles existantes, notre référence solide avec les nouvelles données synthétiques et la conception du modèle atteint 90,40 % de précision sur WordArt-Bench, surpassant de loin les modèles de langage visuel généralistes et spécialisés en OCR. Le code et les données sont disponibles à l'adresse https://github.com/YesianRohn/WATER.

English

WordArt (artistic text) features highly customized fonts, textures, and layouts, making WordArt-oriented scene TExt Recognition (WATER) substantially more challenging than general Scene Text Recognition (STR). Existing STR datasets and methods, typically built around regular scene text and fixed-template inputs, struggle to scale to WATER. Thus, we aim to advance this task from both data and model perspectives. On the data side, we construct a 2M synthetic dataset, WATER-S, with the scale improved by hundreds of times compared to existing artistic text data. WATER-S consists of two complementary subsets. One rendered by an upgraded rendering pipeline (SynthWordArt), which provides highly accurate and controllable synthetic WordArt data. The other is generated by combining Qwen3-VL for prompt mining and Z-Image for image synthesis, which improves the coverage of realistic and diverse data. On the model side, we propose WATERec. It adopts an visual encoder supporting arbitrary-shaped inputs and an autoregressive decoder to model complex layouts, structurally breaking the bottleneck of fixed-template STR on WordArt. Experiments show that this architecture outperforms prior STR methods, achieving state-of-the-art performance on irregular texts such as WordArt. Together with WATER-R, carefully reorganized from existing real STR data, our strong baseline with the new synthetic data and model design reaches 90.40% accuracy on WordArt-Bench, surpassing both general-purpose and OCR-specialized vision-language models by a large margin. Code and data are available at https://github.com/YesianRohn/WATER.