MegaHan97K: Un conjunto de datos a gran escala para el reconocimiento de caracteres chinos en mega-categorías con más de 97K categorías

MegaHan97K: A Large-Scale Dataset for Mega-Category Chinese Character Recognition with over 97K Categories

June 5, 2025

Autores: Yuyi Zhang, Yongxin Shi, Peirong Zhang, Yixin Zhao, Zhenhua Yang, Lianwen Jin

cs.AI

Resumen

Fundamentales para el idioma y la cultura china, los caracteres chinos abarcan categorías extraordinariamente extensas y en constante expansión, con el último estándar chino GB18030-2022 que contiene 87,887 categorías. El reconocimiento preciso de este vasto número de caracteres, denominado reconocimiento de mega-categorías, representa un desafío formidable pero crucial para la preservación del patrimonio cultural y las aplicaciones digitales. A pesar de los avances significativos en el Reconocimiento Óptico de Caracteres (OCR), el reconocimiento de mega-categorías sigue sin explorarse debido a la ausencia de conjuntos de datos completos, con el mayor conjunto de datos existente que contiene apenas 16,151 categorías. Para cerrar esta brecha crítica, presentamos MegaHan97K, un conjunto de datos a gran escala de mega-categorías que cubre un número sin precedentes de 97,455 categorías de caracteres chinos. Nuestro trabajo ofrece tres contribuciones principales: (1) MegaHan97K es el primer conjunto de datos que respalda completamente el último estándar GB18030-2022, proporcionando al menos seis veces más categorías que los conjuntos de datos existentes; (2) Aborda eficazmente el problema de la distribución de cola larga al proporcionar muestras equilibradas en todas las categorías a través de sus tres subconjuntos distintos: subconjuntos manuscritos, históricos y sintéticos; (3) Los experimentos de evaluación comparativa exhaustivos revelan nuevos desafíos en escenarios de mega-categorías, incluyendo mayores demandas de almacenamiento, reconocimiento de caracteres morfológicamente similares y dificultades en el aprendizaje de cero disparos, al mismo tiempo que desbloquean oportunidades sustanciales para futuras investigaciones. Hasta donde sabemos, MegaHan97K es probablemente el conjunto de datos con la mayor cantidad de clases no solo en el campo del OCR, sino también en el ámbito más amplio del reconocimiento de patrones. El conjunto de datos está disponible en https://github.com/SCUT-DLVCLab/MegaHan97K.

English

Foundational to the Chinese language and culture, Chinese characters encompass extraordinarily extensive and ever-expanding categories, with the latest Chinese GB18030-2022 standard containing 87,887 categories. The accurate recognition of this vast number of characters, termed mega-category recognition, presents a formidable yet crucial challenge for cultural heritage preservation and digital applications. Despite significant advances in Optical Character Recognition (OCR), mega-category recognition remains unexplored due to the absence of comprehensive datasets, with the largest existing dataset containing merely 16,151 categories. To bridge this critical gap, we introduce MegaHan97K, a mega-category, large-scale dataset covering an unprecedented 97,455 categories of Chinese characters. Our work offers three major contributions: (1) MegaHan97K is the first dataset to fully support the latest GB18030-2022 standard, providing at least six times more categories than existing datasets; (2) It effectively addresses the long-tail distribution problem by providing balanced samples across all categories through its three distinct subsets: handwritten, historical and synthetic subsets; (3) Comprehensive benchmarking experiments reveal new challenges in mega-category scenarios, including increased storage demands, morphologically similar character recognition, and zero-shot learning difficulties, while also unlocking substantial opportunities for future research. To the best of our knowledge, the MetaHan97K is likely the dataset with the largest classes not only in the field of OCR but may also in the broader domain of pattern recognition. The dataset is available at https://github.com/SCUT-DLVCLab/MegaHan97K.