GlotOCR Bench: Los modelos de OCR aún luchan más allá de un puñado de scripts Unicode
GlotOCR Bench: OCR Models Still Struggle Beyond a Handful of Unicode Scripts
April 14, 2026
Autores: Amir Hossein Kargaran, Nafiseh Nikeghbal, Jana Diesner, François Yvon, Hinrich Schütze
cs.AI
Resumen
El reconocimiento óptico de caracteres (OCR) ha avanzado rápidamente con el auge de los modelos de visión y lenguaje, pero su evaluación se ha mantenido concentrada en un pequeño grupo de escrituras de recursos altos y medios. Presentamos GlotOCR Bench, un benchmark integral que evalúa la generalización del OCR en más de 100 escrituras Unicode. Nuestro benchmark comprende variantes de imágenes limpias y degradadas generadas a partir de textos multilingües reales. Las imágenes se renderizan utilizando fuentes del repositorio Google Fonts, conformadas con HarfBuzz y rasterizadas con FreeType, admitiendo tanto escrituras de izquierda a derecha (LTR) como de derecha a izquierda (RTL). Se revisaron manualmente muestras de las imágenes renderizadas para verificar la correcta representación en todas las escrituras. Evaluamos una amplia gama de modelos de visión y lenguaje, tanto de código abierto como propietarios, y encontramos que la mayoría rinde bien en menos de diez escrituras; incluso los modelos frontera más potentes no logran generalizar más allá de treinta escrituras. El rendimiento sigue en gran medida la cobertura del preentrenamiento a nivel de escritura, lo que sugiere que los sistemas OCR actuales dependen tanto del preentrenamiento del modelo de lenguaje como del reconocimiento visual. Los modelos enfrentados a escrituras desconocidas producen ruido aleatorio o alucinan caracteres de escrituras similares que ya conocen. Publicamos el benchmark y la pipeline para garantizar la reproducibilidad. Código de la Pipeline: https://github.com/cisnlp/glotocr-bench, Benchmark: https://hf.co/datasets/cis-lmu/glotocr-bench.
English
Optical character recognition (OCR) has advanced rapidly with the rise of vision-language models, yet evaluation has remained concentrated on a small cluster of high- and mid-resource scripts. We introduce GlotOCR Bench, a comprehensive benchmark evaluating OCR generalization across 100+ Unicode scripts. Our benchmark comprises clean and degraded image variants rendered from real multilingual texts. Images are rendered using fonts from the Google Fonts repository, shaped with HarfBuzz and rasterized with FreeType, supporting both LTR and RTL scripts. Samples of rendered images were manually reviewed to verify correct rendering across all scripts. We evaluate a broad suite of open-weight and proprietary vision-language models and find that most perform well on fewer than ten scripts, and even the strongest frontier models fail to generalize beyond thirty scripts. Performance broadly tracks script-level pretraining coverage, suggesting that current OCR systems rely on language model pretraining as much as on visual recognition. Models confronted with unfamiliar scripts either produce random noise or hallucinate characters from similar scripts they already know. We release the benchmark and pipeline for reproducibility. Pipeline Code: https://github.com/cisnlp/glotocr-bench, Benchmark: https://hf.co/datasets/cis-lmu/glotocr-bench.