De Pontuações a Habilidades: Um Framework de Diagnóstico Cognitivo para Avaliação de Modelos de Linguagem de Grande Escala em Finanças

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) têm mostrado potencial para aplicações financeiras, mas sua adequação para esse domínio de alto impacto ainda permanece amplamente não comprovada devido às deficiências nos benchmarks existentes. Os benchmarks atuais dependem exclusivamente de avaliações baseadas em pontuação, resumindo o desempenho com uma única pontuação que obscurece a compreensão detalhada do que os modelos realmente sabem e suas limitações precisas. Eles também se baseiam em conjuntos de dados que cobrem apenas um subconjunto limitado de conceitos financeiros, enquanto negligenciam outros essenciais para aplicações do mundo real. Para abordar essas lacunas, introduzimos o FinCDM, o primeiro framework de avaliação de diagnóstico cognitivo projetado especificamente para LLMs financeiros, permitindo a avaliação dos LLMs no nível de conhecimento-habilidade, identificando quais habilidades e conhecimentos financeiros eles possuem ou carecem com base em seus padrões de resposta em tarefas marcadas por habilidades, em vez de um único número agregado. Construímos o CPA-QKA, o primeiro conjunto de dados de avaliação financeira cognitivamente informado, derivado do exame de Certified Public Accountant (CPA), com cobertura abrangente de habilidades contábeis e financeiras do mundo real. Ele é rigorosamente anotado por especialistas do domínio, que elaboram, validam e anotam as questões com alta concordância entre anotadores e rótulos de conhecimento detalhados. Nossos extensos experimentos com 30 LLMs proprietários, de código aberto e específicos do domínio mostram que o FinCDM revela lacunas de conhecimento ocultas, identifica áreas subtestadas, como raciocínio fiscal e regulatório, negligenciadas pelos benchmarks tradicionais, e descobre clusters comportamentais entre os modelos. O FinCDM introduz um novo paradigma para a avaliação de LLMs financeiros, permitindo um diagnóstico interpretável e consciente das habilidades que apoia o desenvolvimento de modelos mais confiáveis e direcionados, e todos os conjuntos de dados e scripts de avaliação serão publicamente disponibilizados para apoiar pesquisas futuras.

English

Large Language Models (LLMs) have shown promise for financial applications, yet their suitability for this high-stakes domain remains largely unproven due to inadequacies in existing benchmarks. Existing benchmarks solely rely on score-level evaluation, summarizing performance with a single score that obscures the nuanced understanding of what models truly know and their precise limitations. They also rely on datasets that cover only a narrow subset of financial concepts, while overlooking other essentials for real-world applications. To address these gaps, we introduce FinCDM, the first cognitive diagnosis evaluation framework tailored for financial LLMs, enabling the evaluation of LLMs at the knowledge-skill level, identifying what financial skills and knowledge they have or lack based on their response patterns across skill-tagged tasks, rather than a single aggregated number. We construct CPA-QKA, the first cognitively informed financial evaluation dataset derived from the Certified Public Accountant (CPA) examination, with comprehensive coverage of real-world accounting and financial skills. It is rigorously annotated by domain experts, who author, validate, and annotate questions with high inter-annotator agreement and fine-grained knowledge labels. Our extensive experiments on 30 proprietary, open-source, and domain-specific LLMs show that FinCDM reveals hidden knowledge gaps, identifies under-tested areas such as tax and regulatory reasoning overlooked by traditional benchmarks, and uncovers behavioral clusters among models. FinCDM introduces a new paradigm for financial LLM evaluation by enabling interpretable, skill-aware diagnosis that supports more trustworthy and targeted model development, and all datasets and evaluation scripts will be publicly released to support further research.

De Pontuações a Habilidades: Um Framework de Diagnóstico Cognitivo para Avaliação de Modelos de Linguagem de Grande Escala em Finanças

From Scores to Skills: A Cognitive Diagnosis Framework for Evaluating Financial Large Language Models

Resumo

Support