MegaHan97K: Ein umfangreicher Datensatz für die Mega-Kategorie-Erkennung chinesischer Schriftzeichen mit über 97.000 Kategorien

MegaHan97K: A Large-Scale Dataset for Mega-Category Chinese Character Recognition with over 97K Categories

June 5, 2025

Autoren: Yuyi Zhang, Yongxin Shi, Peirong Zhang, Yixin Zhao, Zhenhua Yang, Lianwen Jin

cs.AI

Zusammenfassung

Grundlegend für die chinesische Sprache und Kultur umfassen chinesische Schriftzeichen außerordentlich umfangreiche und ständig wachsende Kategorien, wobei der neueste chinesische GB18030-2022-Standard 87.887 Kategorien enthält. Die genaue Erkennung dieser enormen Anzahl von Schriftzeichen, bezeichnet als Mega-Kategorie-Erkennung, stellt eine gewaltige, aber entscheidende Herausforderung für die Bewahrung des kulturellen Erbes und digitale Anwendungen dar. Trotz bedeutender Fortschritte in der optischen Zeichenerkennung (OCR) bleibt die Mega-Kategorie-Erkennung aufgrund des Fehlens umfassender Datensätze unerforscht, wobei der größte bestehende Datensatz lediglich 16.151 Kategorien enthält. Um diese kritische Lücke zu schließen, stellen wir MegaHan97K vor, einen Mega-Kategorie-, groß angelegten Datensatz, der eine beispiellose Anzahl von 97.455 Kategorien chinesischer Schriftzeichen abdeckt. Unsere Arbeit bietet drei wesentliche Beiträge: (1) MegaHan97K ist der erste Datensatz, der den neuesten GB18030-2022-Standard vollständig unterstützt und mindestens sechsmal mehr Kategorien als bestehende Datensätze bereitstellt; (2) Er adressiert effektiv das Problem der Long-Tail-Verteilung, indem er durch seine drei verschiedenen Teilmengen – handgeschriebene, historische und synthetische Teilmengen – ausgewogene Proben für alle Kategorien bietet; (3) Umfassende Benchmarking-Experimente offenbaren neue Herausforderungen in Mega-Kategorie-Szenarien, darunter erhöhte Speicheranforderungen, die Erkennung morphologisch ähnlicher Schriftzeichen und Schwierigkeiten beim Zero-Shot-Lernen, während gleichzeitig erhebliche Möglichkeiten für zukünftige Forschung eröffnet werden. Nach bestem Wissen ist MegaHan97K wahrscheinlich der Datensatz mit den meisten Klassen, nicht nur im Bereich der OCR, sondern möglicherweise auch im weiteren Bereich der Mustererkennung. Der Datensatz ist verfügbar unter https://github.com/SCUT-DLVCLab/MegaHan97K.

English

Foundational to the Chinese language and culture, Chinese characters encompass extraordinarily extensive and ever-expanding categories, with the latest Chinese GB18030-2022 standard containing 87,887 categories. The accurate recognition of this vast number of characters, termed mega-category recognition, presents a formidable yet crucial challenge for cultural heritage preservation and digital applications. Despite significant advances in Optical Character Recognition (OCR), mega-category recognition remains unexplored due to the absence of comprehensive datasets, with the largest existing dataset containing merely 16,151 categories. To bridge this critical gap, we introduce MegaHan97K, a mega-category, large-scale dataset covering an unprecedented 97,455 categories of Chinese characters. Our work offers three major contributions: (1) MegaHan97K is the first dataset to fully support the latest GB18030-2022 standard, providing at least six times more categories than existing datasets; (2) It effectively addresses the long-tail distribution problem by providing balanced samples across all categories through its three distinct subsets: handwritten, historical and synthetic subsets; (3) Comprehensive benchmarking experiments reveal new challenges in mega-category scenarios, including increased storage demands, morphologically similar character recognition, and zero-shot learning difficulties, while also unlocking substantial opportunities for future research. To the best of our knowledge, the MetaHan97K is likely the dataset with the largest classes not only in the field of OCR but may also in the broader domain of pattern recognition. The dataset is available at https://github.com/SCUT-DLVCLab/MegaHan97K.