CDM: Een Betrouwbare Maatstaf voor Eerlijke en Nauwkeurige Evaluatie van Formulierherkenning

CDM: A Reliable Metric for Fair and Accurate Formula Recognition Evaluation

September 5, 2024

Auteurs: Bin Wang, Fan Wu, Linke Ouyang, Zhuangcheng Gu, Rui Zhang, Renqiu Xia, Bo Zhang, Conghui He

cs.AI

Samenvatting

Formuleherkenning vormt een aanzienlijke uitdaging vanwege de complexe structuur en gevarieerde notatie van wiskundige expressies. Ondanks voortdurende vooruitgang in formuleherkenningsmodellen vertonen de evaluatiemetrics die door deze modellen worden gebruikt, zoals BLEU en Edit Distance, nog steeds aanzienlijke beperkingen. Zij negeren het feit dat dezelfde formule diverse representaties kent en zeer gevoelig is voor de verdeling van trainingsdata, wat oneerlijkheid in de evaluatie van formuleherkenning veroorzaakt. Daartoe stellen wij een Character Detection Matching (CDM)-metric voor, die de evaluatie-objectiviteit waarborgt door een beeldniveau- in plaats van LaTeX-niveau metricscores te ontwerpen. Concreet zet CDM zowel de door het model voorspelde LaTeX als de grondwaarheid-LaTeX-formules om in beeldgeformatteerde formules, gebruikt vervolgens technieken voor visuele feature-extractie en lokalisatie voor precieze teken-level matching, waarbij ruimtelijke positie-informatie wordt geïntegreerd. Deze ruimtelijk bewuste en op tekenherkenning gebaseerde methode biedt een nauwkeurigere en rechtvaardigere evaluatie in vergelijking met eerdere BLEU- en Edit Distance-metrics die uitsluitend op tekstgebaseerde tekenmatching vertrouwen. Experimenteel evalueerden wij diverse formuleherkenningsmodellen met behulp van CDM, BLEU en ExpRate metrics. De resultaten tonen aan dat de CDM beter aansluit bij menselijke evaluatiestandaarden en een eerlijker vergelijking tussen verschillende modellen mogelijk maakt door verschillen veroorzaakt door diverse formulerepresentaties te elimineren.

English

Formula recognition presents significant challenges due to the complicated structure and varied notation of mathematical expressions. Despite continuous advancements in formula recognition models, the evaluation metrics employed by these models, such as BLEU and Edit Distance, still exhibit notable limitations. They overlook the fact that the same formula has diverse representations and is highly sensitive to the distribution of training data, thereby causing the unfairness in formula recognition evaluation. To this end, we propose a Character Detection Matching (CDM) metric, ensuring the evaluation objectivity by designing a image-level rather than LaTex-level metric score. Specifically, CDM renders both the model-predicted LaTeX and the ground-truth LaTeX formulas into image-formatted formulas, then employs visual feature extraction and localization techniques for precise character-level matching, incorporating spatial position information. Such a spatially-aware and character-matching method offers a more accurate and equitable evaluation compared with previous BLEU and Edit Distance metrics that rely solely on text-based character matching. Experimentally, we evaluated various formula recognition models using CDM, BLEU, and ExpRate metrics. Their results demonstrate that the CDM aligns more closely with human evaluation standards and provides a fairer comparison across different models by eliminating discrepancies caused by diverse formula representations.