OmniOCR: Generalistisches OCR für ethnische Minderheitensprachen
OmniOCR: Generalist OCR for Ethnic Minority Languages
February 24, 2026
Autoren: Bonan Liu, Zeyu Zhang, Bingbing Meng, Han Wang, Hanshuo Zhang, Chengping Wang, Daji Ergu, Ying Cai
cs.AI
Zusammenfassung
Optische Zeichenerkennung (OCR) hat durch Deep Learning und multimodale Modelle rasante Fortschritte gemacht, doch konzentrieren sich die meisten Methoden auf gut erforschte Schriftsysteme wie Lateinisch und Chinesisch. Ethnische Minderheitensprachen bleiben aufgrund komplexer Schriftsysteme, knapper Annotationen und vielfältiger historischer sowie moderner Formen untererforscht, was die Generalisierung in ressourcenarmen oder Zero-Shot-Szenarien erschwert. Um diese Herausforderungen zu bewältigen, stellen wir OmniOCR vor, ein universelles Framework für Schriften ethnischer Minderheiten. OmniOCR führt Dynamic Low-Rank Adaptation (Dynamic LoRA) ein, um Modellkapazitäten über Schichten und Schriften hinweg dynamisch zuzuteilen und so eine effektive Anpassung bei gleichzeitigem Erhalt des Wissens zu ermöglichen. Eine Sparsity-Regularisierung entfernt redundante Aktualisierungen und gewährleistet eine kompakte und effiziente Anpassung ohne zusätzliche Inferenzkosten. Evaluationen auf TibetanMNIST, Shui, antikem Yi und Dongba zeigen, dass OmniOCR Zero-Shot-Foundation-Modelle und Standard-Post-Training übertrifft, state-of-the-art Genauigkeit bei überlegener Parameter-Effizienz erreicht und im Vergleich zu den besten Baseline-Modellen die Genauigkeit auf diesen vier Datensätzen um 39 % bis 66 % steigert. Code: https://github.com/AIGeeksGroup/OmniOCR.
English
Optical character recognition (OCR) has advanced rapidly with deep learning and multimodal models, yet most methods focus on well-resourced scripts such as Latin and Chinese. Ethnic minority languages remain underexplored due to complex writing systems, scarce annotations, and diverse historical and modern forms, making generalization in low-resource or zero-shot settings challenging. To address these challenges, we present OmniOCR, a universal framework for ethnic minority scripts. OmniOCR introduces Dynamic Low-Rank Adaptation (Dynamic LoRA) to allocate model capacity across layers and scripts, enabling effective adaptation while preserving knowledge.A sparsity regularization prunes redundant updates, ensuring compact and efficient adaptation without extra inference cost. Evaluations on TibetanMNIST, Shui, ancient Yi, and Dongba show that OmniOCR outperforms zero-shot foundation models and standard post training, achieving state-of-the-art accuracy with superior parameter efficiency, and compared with the state-of-the-art baseline models, it improves accuracy by 39%-66% on these four datasets. Code: https://github.com/AIGeeksGroup/OmniOCR.