Sprachkomplexitätsmessung als rauschhafter Null-Schuss-Proxy zur Bewertung der Leistung von LLM.

Language Complexity Measurement as a Noisy Zero-Shot Proxy for Evaluating LLM Performance

February 17, 2025

Autoren: Birger Moell, Johan Boye

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bedeutende Fortschritte bei der natürlichen Sprachgenerierung erzielt, stehen jedoch oft vor Herausforderungen bei Aufgaben, die präzise Berechnungen und strukturelle Analysen erfordern. Diese Arbeit untersucht die Leistungsfähigkeit modernster LLMs bei Aufgaben zur Messung von Sprachkomplexität, durch die Berechnung des LIX-Lesbarkeitsmaßes und des durchschnittlichen Abhängigkeitsabstands (ADD). Unter Verwendung von schwedischen Aufsätzen aus der Oberstufe und Universitätsebene evaluieren wir die Fähigkeiten der Modelle, LIX-Werte zu berechnen und Abhängigkeitsparsings durchzuführen, indem wir ihre Ergebnisse mit etablierten Referenzwerten vergleichen. Unsere Ergebnisse zeigen, dass, obwohl alle Modelle eine gewisse Fähigkeit für diese Aufgaben zeigen, ChatGPT-o1-mini am konsistentesten abschneidet und die höchste Genauigkeit sowohl bei der LIX-Berechnung als auch beim Abhängigkeitsparsing erreicht. Darüber hinaus beobachten wir eine starke signifikante Korrelation von -0,875 p 0,026 (N=6) zwischen der Genauigkeit der Modelle bei der Berechnung von LIX und ihrer Gesamtleistung beim Massive Multitask Language Understanding (MMLU) Benchmark. Diese Ergebnisse legen nahe, dass die Fähigkeiten zur Messung von Sprachkomplexität als ungenaue Zero-Shot-Proxy für die Bewertung der allgemeinen Fähigkeiten von LLMs dienen können, was eine praktische Methode zur Modellbewertung ohne umfangreiche Benchmarking-Datensätze bietet.

English

Large Language Models (LLMs) have made significant strides in natural language generation but often face challenges in tasks requiring precise calculations and structural analysis. This paper investigates the performance of state-of-the-art LLMs on language complexity measurement tasks, through the computation of the LIX readability metric and Average Dependency Distance (ADD). Using Swedish high school and university-level essays, we evaluate the models' abilities to compute LIX scores and perform dependency parsing, comparing their results to established ground truths. Our findings reveal that while all models demonstrate some capacity for these tasks, ChatGPT-o1-mini performs most consistently, achieving the highest accuracy in both LIX computation and dependency parsing. Additionally, we observe a strong significant correlation -0.875 p 0.026 (N=6) between the models' accuracy in computing LIX and their overall performance on the Massive Multitask Language Understanding (MMLU) benchmark. These results suggest that language complexity measurement abilities can serve as a noisy zero-shot proxies for assessing the general capabilities of LLMs, providing a practical method for model evaluation without the need for extensive benchmarking datasets.