De Puntuaciones a Habilidades: Un Marco de Diagnóstico Cognitivo para la Evaluación de Modelos de Lenguaje de Gran Escala en Finanzas

From Scores to Skills: A Cognitive Diagnosis Framework for Evaluating Financial Large Language Models

August 19, 2025

Autores: Ziyan Kuang, Feiyu Zhu, Maowei Jiang, Yanzhao Lai, Zelin Wang, Zhitong Wang, Meikang Qiu, Jiajia Huang, Min Peng, Qianqian Xie, Sophia Ananiadou

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han mostrado potencial para aplicaciones financieras, aunque su idoneidad para este dominio de alto riesgo sigue siendo en gran medida no probada debido a las deficiencias en los puntos de referencia existentes. Los puntos de referencia actuales se basan únicamente en evaluaciones a nivel de puntuación, resumiendo el rendimiento con una sola puntuación que oscurece la comprensión matizada de lo que los modelos realmente saben y sus limitaciones precisas. Además, dependen de conjuntos de datos que cubren solo un subconjunto estrecho de conceptos financieros, pasando por alto otros elementos esenciales para aplicaciones del mundo real. Para abordar estas brechas, presentamos FinCDM, el primer marco de evaluación de diagnóstico cognitivo diseñado específicamente para LLMs financieros, que permite evaluar los LLMs a nivel de conocimiento-habilidad, identificando qué habilidades y conocimientos financieros poseen o carecen en función de sus patrones de respuesta en tareas etiquetadas por habilidad, en lugar de un único número agregado. Construimos CPA-QKA, el primer conjunto de datos de evaluación financiera cognitivamente informado derivado del examen de Contador Público Certificado (CPA, por sus siglas en inglés), con una cobertura integral de habilidades contables y financieras del mundo real. Está rigurosamente anotado por expertos en el dominio, quienes redactan, validan y anotan preguntas con un alto acuerdo entre anotadores y etiquetas de conocimiento detalladas. Nuestros extensos experimentos en 30 LLMs propietarios, de código abierto y específicos del dominio muestran que FinCDM revela brechas de conocimiento ocultas, identifica áreas poco evaluadas, como el razonamiento fiscal y regulatorio, pasadas por alto por los puntos de referencia tradicionales, y descubre agrupaciones conductuales entre los modelos. FinCDM introduce un nuevo paradigma para la evaluación de LLMs financieros al permitir un diagnóstico interpretable y consciente de las habilidades que respalda un desarrollo de modelos más confiable y dirigido. Todos los conjuntos de datos y scripts de evaluación se publicarán públicamente para apoyar investigaciones futuras.

English

Large Language Models (LLMs) have shown promise for financial applications, yet their suitability for this high-stakes domain remains largely unproven due to inadequacies in existing benchmarks. Existing benchmarks solely rely on score-level evaluation, summarizing performance with a single score that obscures the nuanced understanding of what models truly know and their precise limitations. They also rely on datasets that cover only a narrow subset of financial concepts, while overlooking other essentials for real-world applications. To address these gaps, we introduce FinCDM, the first cognitive diagnosis evaluation framework tailored for financial LLMs, enabling the evaluation of LLMs at the knowledge-skill level, identifying what financial skills and knowledge they have or lack based on their response patterns across skill-tagged tasks, rather than a single aggregated number. We construct CPA-QKA, the first cognitively informed financial evaluation dataset derived from the Certified Public Accountant (CPA) examination, with comprehensive coverage of real-world accounting and financial skills. It is rigorously annotated by domain experts, who author, validate, and annotate questions with high inter-annotator agreement and fine-grained knowledge labels. Our extensive experiments on 30 proprietary, open-source, and domain-specific LLMs show that FinCDM reveals hidden knowledge gaps, identifies under-tested areas such as tax and regulatory reasoning overlooked by traditional benchmarks, and uncovers behavioral clusters among models. FinCDM introduces a new paradigm for financial LLM evaluation by enabling interpretable, skill-aware diagnosis that supports more trustworthy and targeted model development, and all datasets and evaluation scripts will be publicly released to support further research.