MegaHan97K: Масштабный набор данных для распознавания китайских иероглифов мега-категорий с более чем 97 тысячами категорий

MegaHan97K: A Large-Scale Dataset for Mega-Category Chinese Character Recognition with over 97K Categories

June 5, 2025

Авторы: Yuyi Zhang, Yongxin Shi, Peirong Zhang, Yixin Zhao, Zhenhua Yang, Lianwen Jin

cs.AI

Аннотация

Китайские иероглифы, являющиеся основой китайского языка и культуры, охватывают чрезвычайно обширные и постоянно расширяющиеся категории, причем последний стандарт GB18030-2022 включает 87 887 категорий. Точное распознавание такого огромного количества символов, называемое мегакатегорийным распознаванием, представляет собой сложную, но крайне важную задачу для сохранения культурного наследия и цифровых приложений. Несмотря на значительные достижения в области оптического распознавания символов (OCR), мегакатегорийное распознавание остается малоизученным из-за отсутствия всеобъемлющих наборов данных, причем самый крупный существующий набор содержит лишь 16 151 категорию. Чтобы восполнить этот критический пробел, мы представляем MegaHan97K — мегакатегорийный, крупномасштабный набор данных, охватывающий беспрецедентные 97 455 категорий китайских иероглифов. Наша работа вносит три основных вклада: (1) MegaHan97K — это первый набор данных, полностью поддерживающий последний стандарт GB18030-2022, предоставляя как минимум в шесть раз больше категорий, чем существующие наборы; (2) Он эффективно решает проблему длинного хвоста распределения, предоставляя сбалансированные образцы для всех категорий через три отдельных подмножества: рукописное, историческое и синтетическое; (3) Комплексные эксперименты по тестированию выявляют новые вызовы в мегакатегорийных сценариях, включая повышенные требования к хранению данных, распознавание морфологически схожих символов и трудности в обучении с нулевым разбором, одновременно открывая значительные возможности для будущих исследований. Насколько нам известно, MegaHan97K, вероятно, является набором данных с наибольшим количеством классов не только в области OCR, но и, возможно, в более широкой области распознавания образов. Набор данных доступен по адресу: https://github.com/SCUT-DLVCLab/MegaHan97K.

English

Foundational to the Chinese language and culture, Chinese characters encompass extraordinarily extensive and ever-expanding categories, with the latest Chinese GB18030-2022 standard containing 87,887 categories. The accurate recognition of this vast number of characters, termed mega-category recognition, presents a formidable yet crucial challenge for cultural heritage preservation and digital applications. Despite significant advances in Optical Character Recognition (OCR), mega-category recognition remains unexplored due to the absence of comprehensive datasets, with the largest existing dataset containing merely 16,151 categories. To bridge this critical gap, we introduce MegaHan97K, a mega-category, large-scale dataset covering an unprecedented 97,455 categories of Chinese characters. Our work offers three major contributions: (1) MegaHan97K is the first dataset to fully support the latest GB18030-2022 standard, providing at least six times more categories than existing datasets; (2) It effectively addresses the long-tail distribution problem by providing balanced samples across all categories through its three distinct subsets: handwritten, historical and synthetic subsets; (3) Comprehensive benchmarking experiments reveal new challenges in mega-category scenarios, including increased storage demands, morphologically similar character recognition, and zero-shot learning difficulties, while also unlocking substantial opportunities for future research. To the best of our knowledge, the MetaHan97K is likely the dataset with the largest classes not only in the field of OCR but may also in the broader domain of pattern recognition. The dataset is available at https://github.com/SCUT-DLVCLab/MegaHan97K.