Medição da Complexidade da Linguagem como um Proxy Ruidoso de Avaliação de Desempenho de LLMs em Cenário Zero-Shot

Language Complexity Measurement as a Noisy Zero-Shot Proxy for Evaluating LLM Performance

February 17, 2025

Autores: Birger Moell, Johan Boye

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) deram passos significativos na geração de linguagem natural, mas frequentemente enfrentam desafios em tarefas que exigem cálculos precisos e análise estrutural. Este artigo investiga o desempenho de LLMs de última geração em tarefas de medição de complexidade linguística, por meio do cálculo da métrica de legibilidade LIX e da Distância Média de Dependência (ADD). Utilizando redações de estudantes do ensino médio e universitários suecos, avaliamos a capacidade dos modelos de calcular pontuações LIX e realizar análise de dependência, comparando seus resultados com verdades estabelecidas. Nossos resultados revelam que, embora todos os modelos demonstrem alguma capacidade para essas tarefas, o ChatGPT-o1-mini apresenta o desempenho mais consistente, alcançando a maior precisão tanto no cálculo do LIX quanto na análise de dependência. Além disso, observamos uma forte correlação significativa de -0,875 p 0,026 (N=6) entre a precisão dos modelos no cálculo do LIX e seu desempenho geral no benchmark Massive Multitask Language Understanding (MMLU). Esses resultados sugerem que as habilidades de medição de complexidade linguística podem servir como proxies ruidosos de zero-shot para avaliar as capacidades gerais dos LLMs, fornecendo um método prático para avaliação de modelos sem a necessidade de extensos conjuntos de dados de benchmarking.

English

Large Language Models (LLMs) have made significant strides in natural language generation but often face challenges in tasks requiring precise calculations and structural analysis. This paper investigates the performance of state-of-the-art LLMs on language complexity measurement tasks, through the computation of the LIX readability metric and Average Dependency Distance (ADD). Using Swedish high school and university-level essays, we evaluate the models' abilities to compute LIX scores and perform dependency parsing, comparing their results to established ground truths. Our findings reveal that while all models demonstrate some capacity for these tasks, ChatGPT-o1-mini performs most consistently, achieving the highest accuracy in both LIX computation and dependency parsing. Additionally, we observe a strong significant correlation -0.875 p 0.026 (N=6) between the models' accuracy in computing LIX and their overall performance on the Massive Multitask Language Understanding (MMLU) benchmark. These results suggest that language complexity measurement abilities can serve as a noisy zero-shot proxies for assessing the general capabilities of LLMs, providing a practical method for model evaluation without the need for extensive benchmarking datasets.