MegaHan97K: Um Conjunto de Dados em Larga Escala para Reconhecimento de Caracteres Chineses em Mega-Categorias com mais de 97 Mil Categorias

MegaHan97K: A Large-Scale Dataset for Mega-Category Chinese Character Recognition with over 97K Categories

June 5, 2025

Autores: Yuyi Zhang, Yongxin Shi, Peirong Zhang, Yixin Zhao, Zhenhua Yang, Lianwen Jin

cs.AI

Resumo

Fundamentais para a língua e cultura chinesas, os caracteres chineses abrangem categorias extraordinariamente extensas e em constante expansão, com o mais recente padrão chinês GB18030-2022 contendo 87.887 categorias. O reconhecimento preciso desse vasto número de caracteres, denominado reconhecimento de megacategorias, apresenta um desafio formidável, porém crucial, para a preservação do patrimônio cultural e aplicações digitais. Apesar dos avanços significativos no Reconhecimento Óptico de Caracteres (OCR), o reconhecimento de megacategorias permanece inexplorado devido à ausência de conjuntos de dados abrangentes, com o maior conjunto de dados existente contendo meramente 16.151 categorias. Para preencher essa lacuna crítica, apresentamos o MegaHan97K, um conjunto de dados em larga escala de megacategorias que abrange um número sem precedentes de 97.455 categorias de caracteres chineses. Nosso trabalho oferece três contribuições principais: (1) O MegaHan97K é o primeiro conjunto de dados a suportar totalmente o mais recente padrão GB18030-2022, fornecendo pelo menos seis vezes mais categorias do que os conjuntos de dados existentes; (2) Ele aborda efetivamente o problema de distribuição de cauda longa, fornecendo amostras equilibradas em todas as categorias por meio de seus três subconjuntos distintos: manuscrito, histórico e sintético; (3) Experimentos abrangentes de benchmarking revelam novos desafios em cenários de megacategorias, incluindo demandas aumentadas de armazenamento, reconhecimento de caracteres morfologicamente semelhantes e dificuldades de aprendizado zero-shot, ao mesmo tempo em que desbloqueiam oportunidades substanciais para pesquisas futuras. Até onde sabemos, o MegaHan97K é provavelmente o conjunto de dados com o maior número de classes não apenas no campo de OCR, mas também no domínio mais amplo de reconhecimento de padrões. O conjunto de dados está disponível em https://github.com/SCUT-DLVCLab/MegaHan97K.

English

Foundational to the Chinese language and culture, Chinese characters encompass extraordinarily extensive and ever-expanding categories, with the latest Chinese GB18030-2022 standard containing 87,887 categories. The accurate recognition of this vast number of characters, termed mega-category recognition, presents a formidable yet crucial challenge for cultural heritage preservation and digital applications. Despite significant advances in Optical Character Recognition (OCR), mega-category recognition remains unexplored due to the absence of comprehensive datasets, with the largest existing dataset containing merely 16,151 categories. To bridge this critical gap, we introduce MegaHan97K, a mega-category, large-scale dataset covering an unprecedented 97,455 categories of Chinese characters. Our work offers three major contributions: (1) MegaHan97K is the first dataset to fully support the latest GB18030-2022 standard, providing at least six times more categories than existing datasets; (2) It effectively addresses the long-tail distribution problem by providing balanced samples across all categories through its three distinct subsets: handwritten, historical and synthetic subsets; (3) Comprehensive benchmarking experiments reveal new challenges in mega-category scenarios, including increased storage demands, morphologically similar character recognition, and zero-shot learning difficulties, while also unlocking substantial opportunities for future research. To the best of our knowledge, the MetaHan97K is likely the dataset with the largest classes not only in the field of OCR but may also in the broader domain of pattern recognition. The dataset is available at https://github.com/SCUT-DLVCLab/MegaHan97K.