Von Bewertungen zu Fähigkeiten: Ein kognitives Diagnoseframework zur Bewertung von Finanz-Großsprachmodellen

papers.abstract

Große Sprachmodelle (LLMs) haben Potenzial für finanzielle Anwendungen gezeigt, doch ihre Eignung für diesen hochriskanten Bereich bleibt weitgehend unbestätigt, da bestehende Benchmarks unzureichend sind. Bestehende Benchmarks stützen sich ausschließlich auf eine Bewertung auf Score-Ebene, die die Leistung mit einem einzigen Score zusammenfasst, was das differenzierte Verständnis dessen, was Modelle wirklich wissen, und ihre genauen Grenzen verschleiert. Sie verlassen sich auch auf Datensätze, die nur einen engen Ausschnitt finanzieller Konzepte abdecken, während andere wesentliche Aspekte für reale Anwendungen vernachlässigt werden. Um diese Lücken zu schließen, führen wir FinCDM ein, den ersten kognitiven Diagnosebewertungsrahmen, der speziell für finanzielle LLMs entwickelt wurde. Dieser ermöglicht die Bewertung von LLMs auf der Wissens- und Fähigkeitsebene, indem er identifiziert, welche finanziellen Fähigkeiten und Kenntnisse sie besitzen oder fehlen, basierend auf ihren Antwortmustern in aufgabenbezogenen, mit Fähigkeiten versehenen Aufgaben, anstatt auf einer einzigen aggregierten Zahl. Wir erstellen CPA-QKA, den ersten kognitiv fundierten finanziellen Bewertungsdatensatz, der aus der Prüfung zum Certified Public Accountant (CPA) abgeleitet ist und eine umfassende Abdeckung realer Buchhaltungs- und Finanzfähigkeiten bietet. Er wird streng von Domänenexperten annotiert, die Fragen erstellen, validieren und mit hoher Übereinstimmung zwischen den Annotatoren und feingranularen Wissenslabels versehen. Unsere umfangreichen Experimente mit 30 proprietären, Open-Source- und domänenspezifischen LLMs zeigen, dass FinCDM verborgene Wissenslücken aufdeckt, untertestete Bereiche wie Steuer- und Regulierungslogik identifiziert, die von traditionellen Benchmarks übersehen werden, und Verhaltenscluster unter den Modellen aufzeigt. FinCDM führt ein neues Paradigma für die Bewertung finanzieller LLMs ein, indem es interpretierbare, fähigkeitsbewusste Diagnosen ermöglicht, die eine vertrauenswürdigere und zielgerichtete Modellentwicklung unterstützen. Alle Datensätze und Bewertungsskripte werden öffentlich zugänglich gemacht, um weitere Forschung zu fördern.

English

Large Language Models (LLMs) have shown promise for financial applications, yet their suitability for this high-stakes domain remains largely unproven due to inadequacies in existing benchmarks. Existing benchmarks solely rely on score-level evaluation, summarizing performance with a single score that obscures the nuanced understanding of what models truly know and their precise limitations. They also rely on datasets that cover only a narrow subset of financial concepts, while overlooking other essentials for real-world applications. To address these gaps, we introduce FinCDM, the first cognitive diagnosis evaluation framework tailored for financial LLMs, enabling the evaluation of LLMs at the knowledge-skill level, identifying what financial skills and knowledge they have or lack based on their response patterns across skill-tagged tasks, rather than a single aggregated number. We construct CPA-QKA, the first cognitively informed financial evaluation dataset derived from the Certified Public Accountant (CPA) examination, with comprehensive coverage of real-world accounting and financial skills. It is rigorously annotated by domain experts, who author, validate, and annotate questions with high inter-annotator agreement and fine-grained knowledge labels. Our extensive experiments on 30 proprietary, open-source, and domain-specific LLMs show that FinCDM reveals hidden knowledge gaps, identifies under-tested areas such as tax and regulatory reasoning overlooked by traditional benchmarks, and uncovers behavioral clusters among models. FinCDM introduces a new paradigm for financial LLM evaluation by enabling interpretable, skill-aware diagnosis that supports more trustworthy and targeted model development, and all datasets and evaluation scripts will be publicly released to support further research.

Von Bewertungen zu Fähigkeiten: Ein kognitives Diagnoseframework zur Bewertung von Finanz-Großsprachmodellen

From Scores to Skills: A Cognitive Diagnosis Framework for Evaluating Financial Large Language Models

papers.abstract

Support