CDM: Una Métrica Confiable para la Evaluación Justa y Precisa del Reconocimiento de Fórmulas

CDM: A Reliable Metric for Fair and Accurate Formula Recognition Evaluation

September 5, 2024

Autores: Bin Wang, Fan Wu, Linke Ouyang, Zhuangcheng Gu, Rui Zhang, Renqiu Xia, Bo Zhang, Conghui He

cs.AI

Resumen

El reconocimiento de fórmulas presenta desafíos significativos debido a la estructura compleja y la notación variada de las expresiones matemáticas. A pesar de los avances continuos en los modelos de reconocimiento de fórmulas, las métricas de evaluación empleadas por estos modelos, como BLEU y la Distancia de Edición, aún muestran limitaciones notables. Pasan por alto el hecho de que la misma fórmula tiene representaciones diversas y es altamente sensible a la distribución de los datos de entrenamiento, lo que provoca una evaluación injusta en el reconocimiento de fórmulas. Para abordar esto, proponemos una métrica de Coincidencia de Detección de Caracteres (CDM, por sus siglas en inglés), que garantiza la objetividad de la evaluación al diseñar una puntuación a nivel de imagen en lugar de a nivel de LaTeX. Específicamente, CDM convierte tanto el LaTeX predicho por el modelo como el LaTeX de referencia en fórmulas en formato de imagen, luego emplea técnicas de extracción de características visuales y localización para una coincidencia precisa a nivel de caracteres, incorporando información de posición espacial. Este método espacialmente consciente y basado en la coincidencia de caracteres ofrece una evaluación más precisa y equitativa en comparación con las métricas anteriores de BLEU y Distancia de Edición, que dependen únicamente de la coincidencia de caracteres basada en texto. Experimentalmente, evaluamos varios modelos de reconocimiento de fórmulas utilizando CDM, BLEU y la métrica ExpRate. Los resultados demuestran que CDM se alinea más estrechamente con los estándares de evaluación humana y proporciona una comparación más justa entre diferentes modelos al eliminar las discrepancias causadas por las diversas representaciones de fórmulas.

English

Formula recognition presents significant challenges due to the complicated structure and varied notation of mathematical expressions. Despite continuous advancements in formula recognition models, the evaluation metrics employed by these models, such as BLEU and Edit Distance, still exhibit notable limitations. They overlook the fact that the same formula has diverse representations and is highly sensitive to the distribution of training data, thereby causing the unfairness in formula recognition evaluation. To this end, we propose a Character Detection Matching (CDM) metric, ensuring the evaluation objectivity by designing a image-level rather than LaTex-level metric score. Specifically, CDM renders both the model-predicted LaTeX and the ground-truth LaTeX formulas into image-formatted formulas, then employs visual feature extraction and localization techniques for precise character-level matching, incorporating spatial position information. Such a spatially-aware and character-matching method offers a more accurate and equitable evaluation compared with previous BLEU and Edit Distance metrics that rely solely on text-based character matching. Experimentally, we evaluated various formula recognition models using CDM, BLEU, and ExpRate metrics. Their results demonstrate that the CDM aligns more closely with human evaluation standards and provides a fairer comparison across different models by eliminating discrepancies caused by diverse formula representations.