GlotOCR Bench : les modèles OCR peinent encore au-delà d'une poignée de scripts Unicode
GlotOCR Bench: OCR Models Still Struggle Beyond a Handful of Unicode Scripts
April 14, 2026
Auteurs: Amir Hossein Kargaran, Nafiseh Nikeghbal, Jana Diesner, François Yvon, Hinrich Schütze
cs.AI
Résumé
La reconnaissance optique de caractères (OCR) a progressé rapidement avec l'essor des modèles vision-langage, mais son évaluation reste concentrée sur un petit groupe d'écritures de ressources élevées et moyennes. Nous présentons GlotOCR Bench, un benchmark complet évaluant la généralisation de l'OCR sur plus de 100 scripts Unicode. Notre benchmark comprend des variantes d'images propres et dégradées générées à partir de textes multilingues réels. Les images sont rendues à l'aide de polices provenant du répertoire Google Fonts, formées avec HarfBuzz et rasterisées avec FreeType, prenant en charge les scripts LTR et RTL. Des échantillons d'images rendues ont été vérifiés manuellement pour garantir un rendu correct sur tous les scripts. Nous évaluons un large éventail de modèles vision-langage open-source et propriétaires et constatons que la plupart obtiennent de bonnes performances sur moins de dix scripts, et même les modèles frontaliers les plus performants échouent à généraliser au-delà de trente scripts. Les performances suivent globalement la couverture préalable des scripts, suggérant que les systèmes OCR actuels dépendent autant du pré-entraînement des modèles de langage que de la reconnaissance visuelle. Les modèles confrontés à des scripts inconnus produisent soit du bruit aléatoire, soit hallucinent des caractères provenant de scripts similaires qu'ils connaissent déjà. Nous publions le benchmark et la pipeline pour assurer la reproductibilité. Code de la pipeline : https://github.com/cisnlp/glotocr-bench, Benchmark : https://hf.co/datasets/cis-lmu/glotocr-bench.
English
Optical character recognition (OCR) has advanced rapidly with the rise of vision-language models, yet evaluation has remained concentrated on a small cluster of high- and mid-resource scripts. We introduce GlotOCR Bench, a comprehensive benchmark evaluating OCR generalization across 100+ Unicode scripts. Our benchmark comprises clean and degraded image variants rendered from real multilingual texts. Images are rendered using fonts from the Google Fonts repository, shaped with HarfBuzz and rasterized with FreeType, supporting both LTR and RTL scripts. Samples of rendered images were manually reviewed to verify correct rendering across all scripts. We evaluate a broad suite of open-weight and proprietary vision-language models and find that most perform well on fewer than ten scripts, and even the strongest frontier models fail to generalize beyond thirty scripts. Performance broadly tracks script-level pretraining coverage, suggesting that current OCR systems rely on language model pretraining as much as on visual recognition. Models confronted with unfamiliar scripts either produce random noise or hallucinate characters from similar scripts they already know. We release the benchmark and pipeline for reproducibility. Pipeline Code: https://github.com/cisnlp/glotocr-bench, Benchmark: https://hf.co/datasets/cis-lmu/glotocr-bench.