Medición de la Complejidad del Lenguaje como un Proxy Ruidoso de Cero Disparos para Evaluar el Rendimiento de LLM.

Language Complexity Measurement as a Noisy Zero-Shot Proxy for Evaluating LLM Performance

February 17, 2025

Autores: Birger Moell, Johan Boye

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Tamaño (LLMs) han avanzado significativamente en la generación de lenguaje natural, pero a menudo enfrentan desafíos en tareas que requieren cálculos precisos y análisis estructural. Este documento investiga el rendimiento de los LLMs de última generación en tareas de medición de complejidad del lenguaje, a través del cálculo de la métrica de legibilidad LIX y la Distancia Promedio de Dependencia (ADD). Utilizando ensayos de nivel de escuela secundaria y universidad en sueco, evaluamos las capacidades de los modelos para calcular puntajes LIX y realizar análisis de dependencia, comparando sus resultados con verdades fundamentales establecidas. Nuestros hallazgos revelan que si bien todos los modelos muestran cierta capacidad para estas tareas, ChatGPT-o1-mini tiene el rendimiento más consistente, logrando la mayor precisión tanto en el cálculo de LIX como en el análisis de dependencia. Además, observamos una correlación significativa y fuerte de -0.875 p 0.026 (N=6) entre la precisión de los modelos al calcular LIX y su rendimiento general en el benchmark de Comprensión del Lenguaje Multitarea Masiva (MMLU). Estos resultados sugieren que las habilidades de medición de la complejidad del lenguaje pueden servir como indicadores no precisos para evaluar las capacidades generales de los LLMs, proporcionando un método práctico para la evaluación de modelos sin la necesidad de extensos conjuntos de datos de referencia.

English

Large Language Models (LLMs) have made significant strides in natural language generation but often face challenges in tasks requiring precise calculations and structural analysis. This paper investigates the performance of state-of-the-art LLMs on language complexity measurement tasks, through the computation of the LIX readability metric and Average Dependency Distance (ADD). Using Swedish high school and university-level essays, we evaluate the models' abilities to compute LIX scores and perform dependency parsing, comparing their results to established ground truths. Our findings reveal that while all models demonstrate some capacity for these tasks, ChatGPT-o1-mini performs most consistently, achieving the highest accuracy in both LIX computation and dependency parsing. Additionally, we observe a strong significant correlation -0.875 p 0.026 (N=6) between the models' accuracy in computing LIX and their overall performance on the Massive Multitask Language Understanding (MMLU) benchmark. These results suggest that language complexity measurement abilities can serve as a noisy zero-shot proxies for assessing the general capabilities of LLMs, providing a practical method for model evaluation without the need for extensive benchmarking datasets.