CDM: Надежный показатель для справедливой и точной оценки распознавания формул

CDM: A Reliable Metric for Fair and Accurate Formula Recognition Evaluation

September 5, 2024

Авторы: Bin Wang, Fan Wu, Linke Ouyang, Zhuangcheng Gu, Rui Zhang, Renqiu Xia, Bo Zhang, Conghui He

cs.AI

Аннотация

Распознавание формул представляет значительные трудности из-за сложной структуры и разнообразных обозначений математических выражений. Несмотря на постоянное совершенствование моделей распознавания формул, используемые ими метрики оценки, такие как BLEU и редакционное расстояние, по-прежнему имеют существенные ограничения. Они упускают из виду тот факт, что одна и та же формула имеет различные представления и высокочувствительна к распределению обучающих данных, что приводит к необъективности оценки распознавания формул. Для решения этой проблемы мы предлагаем метрику сопоставления на основе детектирования символов (Character Detection Matching, CDM), которая обеспечивает объективность оценки за счет расчета показателя на уровне изображения, а не на уровне LaTeX. В частности, CDM преобразует предсказанную моделью LaTeX-разметку и эталонную LaTeX-формулу в формулы в формате изображения, а затем использует методы извлечения визуальных признаков и локализации для точного посимвольного сопоставления с учетом пространственной информации. Такой метод, ориентированный на пространственное расположение и посимвольное сравнение, обеспечивает более точную и справедливую оценку по сравнению с предыдущими метриками BLEU и редакционного расстояния, которые полагаются исключительно на текстовое сопоставление символов. Экспериментально мы оценили различные модели распознавания формул с использованием метрик CDM, BLEU и ExpRate. Полученные результаты демонстрируют, что CDM в большей степени соответствует стандартам человеческой оценки и обеспечивает более справедливое сравнение различных моделей за счет устранения расхождений, вызванных разнообразными представлениями формул.

English

Formula recognition presents significant challenges due to the complicated structure and varied notation of mathematical expressions. Despite continuous advancements in formula recognition models, the evaluation metrics employed by these models, such as BLEU and Edit Distance, still exhibit notable limitations. They overlook the fact that the same formula has diverse representations and is highly sensitive to the distribution of training data, thereby causing the unfairness in formula recognition evaluation. To this end, we propose a Character Detection Matching (CDM) metric, ensuring the evaluation objectivity by designing a image-level rather than LaTex-level metric score. Specifically, CDM renders both the model-predicted LaTeX and the ground-truth LaTeX formulas into image-formatted formulas, then employs visual feature extraction and localization techniques for precise character-level matching, incorporating spatial position information. Such a spatially-aware and character-matching method offers a more accurate and equitable evaluation compared with previous BLEU and Edit Distance metrics that rely solely on text-based character matching. Experimentally, we evaluated various formula recognition models using CDM, BLEU, and ExpRate metrics. Their results demonstrate that the CDM aligns more closely with human evaluation standards and provides a fairer comparison across different models by eliminating discrepancies caused by diverse formula representations.