GlotOCRベンチマーク：OCRモデルは少数のUnicode文字体系を超えると依然として苦戦

GlotOCR Bench: OCR Models Still Struggle Beyond a Handful of Unicode Scripts

April 14, 2026

著者: Amir Hossein Kargaran, Nafiseh Nikeghbal, Jana Diesner, François Yvon, Hinrich Schütze

cs.AI

要旨

光学文字認識（OCR）技術は視覚言語モデルの台頭により急速に進歩しているが、評価は高リソース・中リソースの少数の文字体系に集中したままであった。本論文では、100以上のUnicode文字体系にわたるOCRの汎化性能を評価する包括的ベンチマーク「GlotOCR Bench」を提案する。本ベンチマークは、実世界の多言語テキストから生成された、クリーン版と劣化版の画像バリアントで構成される。画像はGoogle Fontsリポジトリのフォントを用い、HarfBuzzで字形を整形しFreeTypeでラスタライズされており、左から右（LTR）と右から左（RTL）の双方の文字体系をサポートする。レンダリングされた画像サンプルは、全文字体系で正しく表示されていることを確認するため手動で検証された。我々は多数のオープンウェイトおよびプロプライエタリな視覚言語モデルを評価した結果、大半のモデルが10未満の文字体系でしか良好な性能を発揮せず、最先端の強力なモデルですら30を超える文字体系への汎化には失敗することを明らかにした。性能は概して文字体系レベルの事前学習カバレッジと相関しており、現在のOCRシステムが視覚認識と同程度に言語モデルの事前学習に依存していることが示唆される。未知の文字体系に直面したモデルは、ランダムなノイズを出力するか、既知の類似文字体系からの文字を幻覚生成する。再現性のためにベンチマークとパイプラインを公開する。パイプラインコード：https://github.com/cisnlp/glotocr-bench、ベンチマーク：https://hf.co/datasets/cis-lmu/glotocr-bench。

English

Optical character recognition (OCR) has advanced rapidly with the rise of vision-language models, yet evaluation has remained concentrated on a small cluster of high- and mid-resource scripts. We introduce GlotOCR Bench, a comprehensive benchmark evaluating OCR generalization across 100+ Unicode scripts. Our benchmark comprises clean and degraded image variants rendered from real multilingual texts. Images are rendered using fonts from the Google Fonts repository, shaped with HarfBuzz and rasterized with FreeType, supporting both LTR and RTL scripts. Samples of rendered images were manually reviewed to verify correct rendering across all scripts. We evaluate a broad suite of open-weight and proprietary vision-language models and find that most perform well on fewer than ten scripts, and even the strongest frontier models fail to generalize beyond thirty scripts. Performance broadly tracks script-level pretraining coverage, suggesting that current OCR systems rely on language model pretraining as much as on visual recognition. Models confronted with unfamiliar scripts either produce random noise or hallucinate characters from similar scripts they already know. We release the benchmark and pipeline for reproducibility. Pipeline Code: https://github.com/cisnlp/glotocr-bench, Benchmark: https://hf.co/datasets/cis-lmu/glotocr-bench.