GlotOCR Bench: Modelos de OCR Ainda Lutam Além de um Punhado de Scripts Unicode
GlotOCR Bench: OCR Models Still Struggle Beyond a Handful of Unicode Scripts
April 14, 2026
Autores: Amir Hossein Kargaran, Nafiseh Nikeghbal, Jana Diesner, François Yvon, Hinrich Schütze
cs.AI
Resumo
A reconhecimento óptica de caracteres (OCR) avançou rapidamente com o surgimento de modelos de visão e linguagem, mas a avaliação permaneceu concentrada em um pequeno grupo de escritas de recursos altos e médios. Apresentamos o GlotOCR Bench, um benchmark abrangente que avalia a generalização do OCR em mais de 100 escritas Unicode. Nosso benchmark compreende variantes de imagem limpas e degradadas renderizadas a partir de textos reais multilingues. As imagens são renderizadas usando fontes do repositório Google Fonts, formatadas com HarfBuzz e rasterizadas com FreeType, suportando escritas LTR e RTL. Amostras das imagens renderizadas foram revisadas manualmente para verificar a renderização correta em todas as escritas. Avaliamos uma ampla suíte de modelos de visão e linguagem de código aberto e proprietários e descobrimos que a maioria tem bom desempenho em menos de dez escritas, e mesmo os modelos de fronteira mais fortes falham em generalizar para além de trinta escritas. O desempenho acompanha amplamente a cobertura de pré-treinamento a nível de escrita, sugerindo que os sistemas atuais de OCR dependem tanto do pré-treinamento do modelo de linguagem quanto do reconhecimento visual. Modelos confrontados com escritas desconhecidas ou produzem ruído aleatório ou alucinam caracteres de escritas semelhantes que já conhecem. Disponibilizamos o benchmark e o *pipeline* para reproducibilidade. Código do *Pipeline*: https://github.com/cisnlp/glotocr-bench, Benchmark: https://hf.co/datasets/cis-lmu/glotocr-bench.
English
Optical character recognition (OCR) has advanced rapidly with the rise of vision-language models, yet evaluation has remained concentrated on a small cluster of high- and mid-resource scripts. We introduce GlotOCR Bench, a comprehensive benchmark evaluating OCR generalization across 100+ Unicode scripts. Our benchmark comprises clean and degraded image variants rendered from real multilingual texts. Images are rendered using fonts from the Google Fonts repository, shaped with HarfBuzz and rasterized with FreeType, supporting both LTR and RTL scripts. Samples of rendered images were manually reviewed to verify correct rendering across all scripts. We evaluate a broad suite of open-weight and proprietary vision-language models and find that most perform well on fewer than ten scripts, and even the strongest frontier models fail to generalize beyond thirty scripts. Performance broadly tracks script-level pretraining coverage, suggesting that current OCR systems rely on language model pretraining as much as on visual recognition. Models confronted with unfamiliar scripts either produce random noise or hallucinate characters from similar scripts they already know. We release the benchmark and pipeline for reproducibility. Pipeline Code: https://github.com/cisnlp/glotocr-bench, Benchmark: https://hf.co/datasets/cis-lmu/glotocr-bench.