GlotOCR Bench: i modelli OCR continuano a lottare oltre una manciata di script Unicode
GlotOCR Bench: OCR Models Still Struggle Beyond a Handful of Unicode Scripts
April 14, 2026
Autori: Amir Hossein Kargaran, Nafiseh Nikeghbal, Jana Diesner, François Yvon, Hinrich Schütze
cs.AI
Abstract
L'OCR (riconoscimento ottico dei caratteri) ha fatto rapidi progressi con l'ascesa dei modelli visione-linguaggio, ma la valutazione si è concentrata su un piccolo gruppo di scritture ad alto e medio reddito. Presentiamo GlotOCR Bench, un benchmark completo che valuta la generalizzazione dell'OCR su oltre 100 scritture Unicode. Il nostro benchmark comprende varianti di immagini pulite e degradate generate da testi multilingue reali. Le immagini sono renderizzate utilizzando caratteri tipografici del repository Google Fonts, modellati con HarfBuzz e rasterizzati con FreeType, supportando sia scritture LTR che RTL. Campioni delle immagini renderizzate sono stati revisionati manualmente per verificarne la corretta resa in tutte le scritture. Valutiamo un'ampia gamma di modelli visione-linguaggio open-weight e proprietari e riscontriamo che la maggior parte ottiene buoni risultati su meno di dieci scritture, e persino i modelli all'avanguardia più potenti non riescono a generalizzare oltre trenta scritture. Le prestazioni ricalcano sostanzialmente la copertura del pre-addestramento a livello di scrittura, suggerendo che gli attuali sistemi OCR dipendono tanto dal pre-addestramento del modello linguistico quanto dal riconoscimento visivo. I modelli che affrontano scritture non familiari producono rumore casuale o allucinano caratteri da scritture simili che già conoscono. Rilasciamo il benchmark e la pipeline per garantire la riproducibilità. Codice Pipeline: https://github.com/cisnlp/glotocr-bench, Benchmark: https://hf.co/datasets/cis-lmu/glotocr-bench.
English
Optical character recognition (OCR) has advanced rapidly with the rise of vision-language models, yet evaluation has remained concentrated on a small cluster of high- and mid-resource scripts. We introduce GlotOCR Bench, a comprehensive benchmark evaluating OCR generalization across 100+ Unicode scripts. Our benchmark comprises clean and degraded image variants rendered from real multilingual texts. Images are rendered using fonts from the Google Fonts repository, shaped with HarfBuzz and rasterized with FreeType, supporting both LTR and RTL scripts. Samples of rendered images were manually reviewed to verify correct rendering across all scripts. We evaluate a broad suite of open-weight and proprietary vision-language models and find that most perform well on fewer than ten scripts, and even the strongest frontier models fail to generalize beyond thirty scripts. Performance broadly tracks script-level pretraining coverage, suggesting that current OCR systems rely on language model pretraining as much as on visual recognition. Models confronted with unfamiliar scripts either produce random noise or hallucinate characters from similar scripts they already know. We release the benchmark and pipeline for reproducibility. Pipeline Code: https://github.com/cisnlp/glotocr-bench, Benchmark: https://hf.co/datasets/cis-lmu/glotocr-bench.