CDM: Una Metrica Affidabile per la Valutazione Equa e Accurata del Riconoscimento di Formule

CDM: A Reliable Metric for Fair and Accurate Formula Recognition Evaluation

September 5, 2024

Autori: Bin Wang, Fan Wu, Linke Ouyang, Zhuangcheng Gu, Rui Zhang, Renqiu Xia, Bo Zhang, Conghui He

cs.AI

Abstract

Il riconoscimento di formule presenta sfide significative a causa della struttura complessa e della notazione variabile delle espressioni matematiche. Nonostante i continui progressi nei modelli di riconoscimento di formule, le metriche di valutazione impiegate da questi modelli, come BLEU e Edit Distance, mostrano ancora limitazioni notevoli. Tali metriche trascurano il fatto che la stessa formula può avere rappresentazioni diverse ed è altamente sensibile alla distribuzione dei dati di addestramento, causando quindi un'ingiustizia nella valutazione del riconoscimento di formule. A tal fine, proponiamo una metrica di Matching tramite Rilevamento di Caratteri (CDM), che garantisce l'oggettività della valutazione attraverso un punteggio a livello di immagine piuttosto che a livello LaTeX. Nello specifico, CDM converte sia il LaTeX predetto dal modello che le formule LaTeX di riferimento in formule in formato immagine, per poi impiegare tecniche di estrazione di caratteristiche visive e localizzazione per un matching preciso a livello di carattere, incorporando informazioni sulle posizioni spaziali. Questo metodo spazialmente consapevole e basato sul matching dei caratteri offre una valutazione più accurata ed equa rispetto alle precedenti metriche BLEU e Edit Distance che si basano esclusivamente sul matching testuale dei caratteri. Sperimentalmente, abbiamo valutato vari modelli di riconoscimento di formule utilizzando CDM, BLEU e ExpRate. I risultati dimostrano che il CDM si allinea maggiormente agli standard di valutazione umana e fornisce un confronto più equo tra diversi modelli, eliminando le discrepanze causate dalle diverse rappresentazioni delle formule.

English

Formula recognition presents significant challenges due to the complicated structure and varied notation of mathematical expressions. Despite continuous advancements in formula recognition models, the evaluation metrics employed by these models, such as BLEU and Edit Distance, still exhibit notable limitations. They overlook the fact that the same formula has diverse representations and is highly sensitive to the distribution of training data, thereby causing the unfairness in formula recognition evaluation. To this end, we propose a Character Detection Matching (CDM) metric, ensuring the evaluation objectivity by designing a image-level rather than LaTex-level metric score. Specifically, CDM renders both the model-predicted LaTeX and the ground-truth LaTeX formulas into image-formatted formulas, then employs visual feature extraction and localization techniques for precise character-level matching, incorporating spatial position information. Such a spatially-aware and character-matching method offers a more accurate and equitable evaluation compared with previous BLEU and Edit Distance metrics that rely solely on text-based character matching. Experimentally, we evaluated various formula recognition models using CDM, BLEU, and ExpRate metrics. Their results demonstrate that the CDM aligns more closely with human evaluation standards and provides a fairer comparison across different models by eliminating discrepancies caused by diverse formula representations.