Van Scores naar Vaardigheden: Een Cognitief Diagnosekader voor de Evaluatie van Financiële Taalmodellen op Grote Schaal

Samenvatting

Grote Taalmodellen (LLM's) hebben potentie getoond voor financiële toepassingen, maar hun geschiktheid voor dit hoogrisicodomein is grotendeels onbewezen vanwege tekortkomingen in bestaande benchmarks. Bestaande benchmarks vertrouwen uitsluitend op evaluatie op scoringsniveau, waarbij de prestaties worden samengevat met een enkele score die een genuanceerd begrip van wat modellen werkelijk weten en hun precieze beperkingen verhult. Ze baseren zich ook op datasets die slechts een smalle subset van financiële concepten bestrijken, terwijl andere essentiële aspecten voor real-world toepassingen over het hoofd worden gezien. Om deze lacunes aan te pakken, introduceren we FinCDM, het eerste cognitieve diagnose-evaluatiekader dat is toegesneden op financiële LLM's, waardoor de evaluatie van LLM's op kennis- en vaardigheidsniveau mogelijk wordt. Hiermee kan worden vastgesteld welke financiële vaardigheden en kennis ze bezitten of missen op basis van hun antwoordpatronen bij taken die zijn gelabeld met vaardigheden, in plaats van een enkele geaggregeerde score. We construeren CPA-QKA, de eerste cognitief geïnformeerde financiële evaluatiedataset afgeleid van het Certified Public Accountant (CPA)-examen, met een uitgebreide dekking van real-world boekhoud- en financiële vaardigheden. Deze is rigoureus geannoteerd door domeinexperts, die vragen opstellen, valideren en annoteren met een hoge interannotatorovereenstemming en fijnmazige kennislabels. Onze uitgebreide experimenten met 30 propriëtaire, open-source en domeinspecifieke LLM's tonen aan dat FinCDM verborgen kennislacunes onthult, onderbelichte gebieden zoals belasting- en regelgevingsredenering identificeert die door traditionele benchmarks over het hoofd worden gezien, en gedragsclusters onder modellen blootlegt. FinCDM introduceert een nieuw paradigma voor de evaluatie van financiële LLM's door interpreteerbare, vaardigheidsbewuste diagnose mogelijk te maken die betrouwbaardere en gerichtere modelontwikkeling ondersteunt. Alle datasets en evaluatiescripts zullen openbaar worden vrijgegeven om verder onderzoek te ondersteunen.

English

Large Language Models (LLMs) have shown promise for financial applications, yet their suitability for this high-stakes domain remains largely unproven due to inadequacies in existing benchmarks. Existing benchmarks solely rely on score-level evaluation, summarizing performance with a single score that obscures the nuanced understanding of what models truly know and their precise limitations. They also rely on datasets that cover only a narrow subset of financial concepts, while overlooking other essentials for real-world applications. To address these gaps, we introduce FinCDM, the first cognitive diagnosis evaluation framework tailored for financial LLMs, enabling the evaluation of LLMs at the knowledge-skill level, identifying what financial skills and knowledge they have or lack based on their response patterns across skill-tagged tasks, rather than a single aggregated number. We construct CPA-QKA, the first cognitively informed financial evaluation dataset derived from the Certified Public Accountant (CPA) examination, with comprehensive coverage of real-world accounting and financial skills. It is rigorously annotated by domain experts, who author, validate, and annotate questions with high inter-annotator agreement and fine-grained knowledge labels. Our extensive experiments on 30 proprietary, open-source, and domain-specific LLMs show that FinCDM reveals hidden knowledge gaps, identifies under-tested areas such as tax and regulatory reasoning overlooked by traditional benchmarks, and uncovers behavioral clusters among models. FinCDM introduces a new paradigm for financial LLM evaluation by enabling interpretable, skill-aware diagnosis that supports more trustworthy and targeted model development, and all datasets and evaluation scripts will be publicly released to support further research.

Van Scores naar Vaardigheden: Een Cognitief Diagnosekader voor de Evaluatie van Financiële Taalmodellen op Grote Schaal

From Scores to Skills: A Cognitive Diagnosis Framework for Evaluating Financial Large Language Models

Samenvatting

Support