Papers Diarios

Presentamos AraLingBench: un punto de referencia completamente anotado por humanos para evaluar la competencia lingüística en árabe de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés). Este punto de referencia abarca cinco categorías principales: gramática, morfología, ortografía, comprensión lectora y sintaxis, a través de 150 preguntas de opción múltiple diseñadas por expertos que evalúan directamente la comprensión estructural del lenguaje. La evaluación de 35 LLMs en árabe y bilingües revela que los modelos actuales demuestran un fuerte dominio superficial, pero presentan dificultades en el razonamiento gramatical y sintáctico más profundo. AraLingBench destaca una brecha persistente entre los puntajes altos en puntos de referencia basados en conocimiento y el verdadero dominio lingüístico, mostrando que muchos modelos tienen éxito a través de la memorización o el reconocimiento de patrones en lugar de una comprensión auténtica. Al aislar y medir habilidades lingüísticas fundamentales, AraLingBench proporciona un marco diagnóstico para el desarrollo de LLMs en árabe. El código completo de evaluación está disponible públicamente en GitHub.