CDM: Uma Métrica Confiável para Avaliação Justa e Precisa do Reconhecimento de Fórmulas

CDM: A Reliable Metric for Fair and Accurate Formula Recognition Evaluation

September 5, 2024

Autores: Bin Wang, Fan Wu, Linke Ouyang, Zhuangcheng Gu, Rui Zhang, Renqiu Xia, Bo Zhang, Conghui He

cs.AI

Resumo

O reconhecimento de fórmulas apresenta desafios significativos devido à estrutura complexa e notação variada das expressões matemáticas. Apesar dos avanços contínuos nos modelos de reconhecimento de fórmulas, as métricas de avaliação empregadas por esses modelos, como BLEU e Edit Distance, ainda exibem limitações notáveis. Elas ignoram o fato de que a mesma fórmula possui representações diversas e é altamente sensível à distribuição dos dados de treinamento, causando assim injustiça na avaliação do reconhecimento de fórmulas. Para tanto, propomos uma métrica de Correspondência por Detecção de Caracteres (CDM), garantindo a objetividade da avaliação através do cálculo de uma pontuação métrica a nível de imagem em vez de a nível de LaTeX. Especificamente, o CDM converte tanto o LaTeX previsto pelo modelo quanto as fórmulas LaTeX de referência em fórmulas no formato de imagem, empregando em seguida técnicas de extração de características visuais e localização para uma correspondência precisa a nível de caractere, incorporando informações de posição espacial. Este método espacialmente consciente e baseado em correspondência de caracteres oferece uma avaliação mais precisa e equitativa em comparação com as métricas anteriores BLEU e Edit Distance, que dependem apenas da correspondência de caracteres baseada em texto. Experimentalmente, avaliamos vários modelos de reconhecimento de fórmulas usando CDM, BLEU e métricas ExpRate. Os resultados demonstram que o CDM se alinha mais estreitamente com os padrões de avaliação humana e fornece uma comparação mais justa entre diferentes modelos, eliminando discrepâncias causadas por representações diversas de fórmulas.

English

Formula recognition presents significant challenges due to the complicated structure and varied notation of mathematical expressions. Despite continuous advancements in formula recognition models, the evaluation metrics employed by these models, such as BLEU and Edit Distance, still exhibit notable limitations. They overlook the fact that the same formula has diverse representations and is highly sensitive to the distribution of training data, thereby causing the unfairness in formula recognition evaluation. To this end, we propose a Character Detection Matching (CDM) metric, ensuring the evaluation objectivity by designing a image-level rather than LaTex-level metric score. Specifically, CDM renders both the model-predicted LaTeX and the ground-truth LaTeX formulas into image-formatted formulas, then employs visual feature extraction and localization techniques for precise character-level matching, incorporating spatial position information. Such a spatially-aware and character-matching method offers a more accurate and equitable evaluation compared with previous BLEU and Edit Distance metrics that rely solely on text-based character matching. Experimentally, we evaluated various formula recognition models using CDM, BLEU, and ExpRate metrics. Their results demonstrate that the CDM aligns more closely with human evaluation standards and provides a fairer comparison across different models by eliminating discrepancies caused by diverse formula representations.