CDM : une métrique fiable pour une évaluation équitable et précise de la reconnaissance de formules

CDM: A Reliable Metric for Fair and Accurate Formula Recognition Evaluation

September 5, 2024

papers.authors: Bin Wang, Fan Wu, Linke Ouyang, Zhuangcheng Gu, Rui Zhang, Renqiu Xia, Bo Zhang, Conghui He

cs.AI

papers.abstract

La reconnaissance de formules présente des défis considérables en raison de la structure complexe et de la notation variée des expressions mathématiques. Malgré les progrès continus des modèles de reconnaissance de formules, les métriques d'évaluation employées par ces modèles, telles que BLEU et la Distance d'Édition, présentent encore des limitations notables. Elles négligent le fait qu'une même formule possède des représentations diverses et est très sensible à la distribution des données d'entraînement, engendrant ainsi une injustice dans l'évaluation de la reconnaissance de formules. Pour pallier ce problème, nous proposons une métrique d'Appariement par Détection de Caractères (CDM), garantissant l'objectivité de l'évaluation en concevant un score métrique au niveau de l'image plutôt qu'au niveau du LaTeX. Concrètement, CDM convertit à la fois le LaTeX prédit par le modèle et les formules LaTeX de référence en formules au format image, puis utilise des techniques d'extraction de caractéristiques visuelles et de localisation pour un appariement précis au niveau des caractères, en intégrant l'information de position spatiale. Cette méthode spatialement consciente et basée sur l'appariement des caractères offre une évaluation plus précise et équitable comparée aux métriques BLEU et Distance d'Édition antérieures, qui reposent uniquement sur un appariement textuel des caractères. Expérimentalement, nous avons évalué divers modèles de reconnaissance de formules en utilisant les métriques CDM, BLEU et ExpRate. Leurs résultats démontrent que le CDM s'aligne plus étroitement avec les standards d'évaluation humaine et permet une comparaison plus juste entre différents modèles en éliminant les écarts causés par les représentations variées des formules.

English

Formula recognition presents significant challenges due to the complicated structure and varied notation of mathematical expressions. Despite continuous advancements in formula recognition models, the evaluation metrics employed by these models, such as BLEU and Edit Distance, still exhibit notable limitations. They overlook the fact that the same formula has diverse representations and is highly sensitive to the distribution of training data, thereby causing the unfairness in formula recognition evaluation. To this end, we propose a Character Detection Matching (CDM) metric, ensuring the evaluation objectivity by designing a image-level rather than LaTex-level metric score. Specifically, CDM renders both the model-predicted LaTeX and the ground-truth LaTeX formulas into image-formatted formulas, then employs visual feature extraction and localization techniques for precise character-level matching, incorporating spatial position information. Such a spatially-aware and character-matching method offers a more accurate and equitable evaluation compared with previous BLEU and Edit Distance metrics that rely solely on text-based character matching. Experimentally, we evaluated various formula recognition models using CDM, BLEU, and ExpRate metrics. Their results demonstrate that the CDM aligns more closely with human evaluation standards and provides a fairer comparison across different models by eliminating discrepancies caused by diverse formula representations.