OmniOCR: Универсальное распознавание текста для языков этнических меньшинств

OmniOCR: Generalist OCR for Ethnic Minority Languages

February 24, 2026

Авторы: Bonan Liu, Zeyu Zhang, Bingbing Meng, Han Wang, Hanshuo Zhang, Chengping Wang, Daji Ergu, Ying Cai

cs.AI

Аннотация

Оптическое распознавание символов (OCR) стремительно развивается благодаря глубокому обучению и мультимодальным моделям, однако большинство методов ориентировано на распространенные системы письма, такие как латиница и китайская иероглифика. Языки этнических меньшинств остаются малоизученными из-за сложных письменностей, дефицита размеченных данных и разнообразия исторических и современных форм, что затрудняет обобщение в условиях ограниченных ресурсов или zero-shot сценариев. Для решения этих проблем мы представляем OmniOCR — универсальную систему для распознавания письменностей этнических меньшинств. OmniOCR использует метод Dynamic Low-Rank Adaptation (Dynamic LoRA) для распределения емкости модели между слоями и письменностями, обеспечивая эффективную адаптацию с сохранением ранее полученных знаний. Регуляризация разреженности отсекает избыточные обновления, гарантируя компактную и эффективную адаптацию без дополнительных вычислительных затрат на инференс. Оценка на наборах данных TibetanMNIST, Шуй, древний Йи и Донгба показывает, что OmniOCR превосходит zero-shot базовые модели и стандартное пост-обучение, достигая наивысшей точности при превосходной параметрической эффективности. По сравнению с современными базовыми моделями точность повышается на 39–66% для этих четырех наборов данных. Код: https://github.com/AIGeeksGroup/OmniOCR.

English

Optical character recognition (OCR) has advanced rapidly with deep learning and multimodal models, yet most methods focus on well-resourced scripts such as Latin and Chinese. Ethnic minority languages remain underexplored due to complex writing systems, scarce annotations, and diverse historical and modern forms, making generalization in low-resource or zero-shot settings challenging. To address these challenges, we present OmniOCR, a universal framework for ethnic minority scripts. OmniOCR introduces Dynamic Low-Rank Adaptation (Dynamic LoRA) to allocate model capacity across layers and scripts, enabling effective adaptation while preserving knowledge.A sparsity regularization prunes redundant updates, ensuring compact and efficient adaptation without extra inference cost. Evaluations on TibetanMNIST, Shui, ancient Yi, and Dongba show that OmniOCR outperforms zero-shot foundation models and standard post training, achieving state-of-the-art accuracy with superior parameter efficiency, and compared with the state-of-the-art baseline models, it improves accuracy by 39%-66% on these four datasets. Code: https://github.com/AIGeeksGroup/OmniOCR.