GlotOCR Bench: модели OCR по-прежнему плохо справляются с большинством письменностей за пределами нескольких скриптов Юникода

GlotOCR Bench: OCR Models Still Struggle Beyond a Handful of Unicode Scripts

April 14, 2026

Авторы: Amir Hossein Kargaran, Nafiseh Nikeghbal, Jana Diesner, François Yvon, Hinrich Schütze

cs.AI

Аннотация

Оптическое распознавание символов (OCR) быстро развивается с появлением визуально-языковых моделей, однако оценка их работы по-прежнему сосредоточена на небольшой группе высоко- и среднересурсных письменностей. Мы представляем GlotOCR Bench — комплексный бенчмарк для оценки обобщающей способности OCR более чем для 100 письменностей Юникода. Наш бенчмарк включает чистые и деградированные варианты изображений, сгенерированных из реальных многоязычных текстов. Изображения создаются с использованием шрифтов из репозитория Google Fonts, обрабатываются с помощью HarfBuzz и растеризуются с помощью FreeType с поддержкой как LTR, так и RTL письменностей. Сгенерированные изображения были вручную проверены для подтверждения корректного отображения всех письменностей. Мы оценили широкий спектр моделей с открытыми и проприетарными весами и обнаружили, что большинство из них хорошо работают менее чем с десятью письменностями, а даже самые передовые модели не способны обобщать более чем для тридцати письменностей. Производительность в целом коррелирует с охватом письменностей на этапе предобучения, что позволяет предположить, что современные системы OCR в равной степени полагаются на предобучение языковых моделей и на визуальное распознавание. Модели, сталкиваясь с незнакомыми письменностями, либо выдают случайный шум, либо галлюцинируют символы из похожих письменностей, которые они уже знают. Мы публикуем бенчмарк и конвейер для обеспечения воспроизводимости. Код конвейера: https://github.com/cisnlp/glotocr-bench, Бенчмарк: https://hf.co/datasets/cis-lmu/glotocr-bench.

English

Optical character recognition (OCR) has advanced rapidly with the rise of vision-language models, yet evaluation has remained concentrated on a small cluster of high- and mid-resource scripts. We introduce GlotOCR Bench, a comprehensive benchmark evaluating OCR generalization across 100+ Unicode scripts. Our benchmark comprises clean and degraded image variants rendered from real multilingual texts. Images are rendered using fonts from the Google Fonts repository, shaped with HarfBuzz and rasterized with FreeType, supporting both LTR and RTL scripts. Samples of rendered images were manually reviewed to verify correct rendering across all scripts. We evaluate a broad suite of open-weight and proprietary vision-language models and find that most perform well on fewer than ten scripts, and even the strongest frontier models fail to generalize beyond thirty scripts. Performance broadly tracks script-level pretraining coverage, suggesting that current OCR systems rely on language model pretraining as much as on visual recognition. Models confronted with unfamiliar scripts either produce random noise or hallucinate characters from similar scripts they already know. We release the benchmark and pipeline for reproducibility. Pipeline Code: https://github.com/cisnlp/glotocr-bench, Benchmark: https://hf.co/datasets/cis-lmu/glotocr-bench.