Измерение сложности языка как шумный нулевой прокси-показатель для оценки производительности LLM.

Language Complexity Measurement as a Noisy Zero-Shot Proxy for Evaluating LLM Performance

February 17, 2025

Авторы: Birger Moell, Johan Boye

cs.AI

Аннотация

Большие языковые модели (LLM) сделали значительные успехи в генерации естественного языка, но часто сталкиваются с трудностями в задачах, требующих точных расчетов и структурного анализа. В данной статье исследуется производительность передовых LLM на задачах измерения сложности языка, путем вычисления метрики удобочитаемости LIX и среднего расстояния зависимости (ADD). Используя эссе старшей школы и университетского уровня на шведском языке, мы оцениваем способности моделей вычислять оценки LIX и выполнять синтаксический анализ, сравнивая их результаты с установленными эталонами. Наши результаты показывают, что хотя все модели проявляют некоторую способность к выполнению этих задач, ChatGPT-o1-mini демонстрирует наибольшую последовательность, достигая наивысшей точности как в вычислении LIX, так и в синтаксическом анализе. Кроме того, мы наблюдаем сильную значимую корреляцию -0.875 p 0.026 (N=6) между точностью моделей в вычислении LIX и их общей производительностью на бенчмарке Massive Multitask Language Understanding (MMLU). Эти результаты позволяют предположить, что способности измерения сложности языка могут служить шумными нулевыми приближениями для оценки общих возможностей LLM, предоставляя практический метод оценки модели без необходимости обширных наборов данных для тестирования.

English

Large Language Models (LLMs) have made significant strides in natural language generation but often face challenges in tasks requiring precise calculations and structural analysis. This paper investigates the performance of state-of-the-art LLMs on language complexity measurement tasks, through the computation of the LIX readability metric and Average Dependency Distance (ADD). Using Swedish high school and university-level essays, we evaluate the models' abilities to compute LIX scores and perform dependency parsing, comparing their results to established ground truths. Our findings reveal that while all models demonstrate some capacity for these tasks, ChatGPT-o1-mini performs most consistently, achieving the highest accuracy in both LIX computation and dependency parsing. Additionally, we observe a strong significant correlation -0.875 p 0.026 (N=6) between the models' accuracy in computing LIX and their overall performance on the Massive Multitask Language Understanding (MMLU) benchmark. These results suggest that language complexity measurement abilities can serve as a noisy zero-shot proxies for assessing the general capabilities of LLMs, providing a practical method for model evaluation without the need for extensive benchmarking datasets.