FINESSE-Bench: Een hiërarchische benchmarksuite voor financiële domeinkennis en technische analyse in grote taalmodellen

Samenvatting

Grote taalmodellen (LLMs) worden steeds vaker toegepast bij financiële analyse, rapportage, ondersteuning bij investeringsbeslissingen, risicobeheer, compliance en professionele training. Een robuuste evaluatie van hun domeincompetenties in financiën blijft echter onvolledig. Veelgebruikte open benchmarks zoals FinQA, ConvFinQA en TAT-QA hebben een belangrijke rol gespeeld in de vooruitgang van financiële vraagbeantwoording en numeriek redeneren, maar ze richten zich voornamelijk op vraagbeantwoording over financiële rapporten en bieden geen expliciete hiërarchie van professionele moeilijkheidsgraad. Bredere bronnen, waaronder FinanceBench, PIXIU, FinBen en FLaME, breiden de dekking van financiële taken uit, maar het probleem van het evalueren van de overgang van basiskennis naar financieel redeneren op expertniveau blijft onopgelost. In dit werk presenteren wij FINESSE-Bench, een reeks van acht gespecialiseerde benchmarks bestaande uit 3.993 vragen voor hiërarchische evaluatie van financiële competenties in LLMs. FINESSE-Bench combineert examen-gerichte datasets geïnspireerd door professionele certificeringen (CFA-achtige niveaus 1-3, CMT-achtig niveau 2 en CFTe-achtig niveau 1), verzamelingen van toegepaste handelstaken en een Russischtalige olympiade-benchmark. Dit ontwerp maakt evaluatie mogelijk van domeinbreedte, prestatievermindering naarmate de moeilijkheid toeneemt, het vermogen om computationele taken op te lossen en modelgedrag in gespecialiseerde financiële domeinen. We beschrijven ook een uniform evaluatieprotocol dat meerkeuzevragen, numerieke antwoorden en korte open antwoorden omvat, samen met een geautomatiseerd beoordelingsschema voor vrije antwoorden gebaseerd op het LLM-als-rechter paradigma. FINESSE-Bench is bedoeld als zowel een aanvulling op bestaande open financiële benchmarks als een hulpmiddel voor een meer inhoudelijke evaluatie van professioneel relevante financiële competenties in grote taalmodellen.

English

Large language models (LLMs) are increasingly being applied to financial analysis, reporting, investment decision support, risk management, compliance, and professional training. However, robust evaluation of their domain competence in finance remains incomplete. Widely used open benchmarks such as FinQA, ConvFinQA, and TAT-QA have played an important role in advancing financial question answering and numerical reasoning, but they focus primarily on question answering over financial reports and do not provide an explicit hierarchy of professional difficulty. Broader resources, including FinanceBench, PIXIU, FinBen, and FLaME, expand the coverage of financial tasks, yet the problem of evaluating the transition from foundational knowledge to expert-level financial reasoning remains open. In this work, we present FINESSE-Bench, a suite of eight specialized benchmarks comprising 3,993 questions for hierarchical evaluation of financial competencies in LLMs. FINESSE-Bench combines exam-oriented datasets inspired by professional certifications (CFA-like Levels 1-3, CMT-like Level 2, and CFTe-like Level 1), applied trading task collections, and a Russian-language olympiad benchmark. This design enables evaluation of domain breadth, performance degradation as difficulty increases, the ability to solve computational tasks, and model behavior in specialized financial domains. We also describe a unified evaluation protocol covering multiple-choice questions, numerical answers, and short open-ended responses, together with an automated scoring scheme for freeform answers based on the LLM-as-judge paradigm. FINESSE-Bench is intended both as a complement to existing open financial benchmarks and as a tool for more substantive evaluation of professionally relevant financial competencies in large language models.