La misurazione della complessità linguistica come proxy rumoroso zero-shot per la valutazione delle prestazioni dei LLM

Language Complexity Measurement as a Noisy Zero-Shot Proxy for Evaluating LLM Performance

February 17, 2025

Autori: Birger Moell, Johan Boye

cs.AI

Abstract

I Large Language Models (LLMs) hanno compiuto progressi significativi nella generazione del linguaggio naturale, ma spesso incontrano difficoltà in compiti che richiedono calcoli precisi e analisi strutturali. Questo articolo indaga le prestazioni degli LLMs all'avanguardia nei compiti di misurazione della complessità linguistica, attraverso il calcolo della metrica di leggibilità LIX e della Distanza Media di Dipendenza (ADD). Utilizzando saggi di studenti delle scuole superiori e universitari svedesi, valutiamo la capacità dei modelli di calcolare i punteggi LIX e di eseguire il parsing delle dipendenze, confrontando i loro risultati con verità di riferimento consolidate. I nostri risultati rivelano che, sebbene tutti i modelli dimostrino una certa capacità in questi compiti, ChatGPT-o1-mini si distingue per la maggiore coerenza, raggiungendo la massima accuratezza sia nel calcolo del LIX che nel parsing delle dipendenze. Inoltre, osserviamo una forte correlazione significativa di -0,875 p 0,026 (N=6) tra l'accuratezza dei modelli nel calcolo del LIX e le loro prestazioni complessive nel benchmark Massive Multitask Language Understanding (MMLU). Questi risultati suggeriscono che le capacità di misurazione della complessità linguistica possono fungere da proxy rumorosi zero-shot per valutare le capacità generali degli LLMs, offrendo un metodo pratico per la valutazione dei modelli senza la necessità di ampi dataset di benchmarking.

English

Large Language Models (LLMs) have made significant strides in natural language generation but often face challenges in tasks requiring precise calculations and structural analysis. This paper investigates the performance of state-of-the-art LLMs on language complexity measurement tasks, through the computation of the LIX readability metric and Average Dependency Distance (ADD). Using Swedish high school and university-level essays, we evaluate the models' abilities to compute LIX scores and perform dependency parsing, comparing their results to established ground truths. Our findings reveal that while all models demonstrate some capacity for these tasks, ChatGPT-o1-mini performs most consistently, achieving the highest accuracy in both LIX computation and dependency parsing. Additionally, we observe a strong significant correlation -0.875 p 0.026 (N=6) between the models' accuracy in computing LIX and their overall performance on the Massive Multitask Language Understanding (MMLU) benchmark. These results suggest that language complexity measurement abilities can serve as a noisy zero-shot proxies for assessing the general capabilities of LLMs, providing a practical method for model evaluation without the need for extensive benchmarking datasets.