FINESSE-Bench: Um Conjunto de Benchmarks Hierárquico para Conhecimento do Domínio Financeiro e Análise Técnica em Grandes Modelos de Linguagem

Resumo

Modelos de linguagem de grande escala (LLMs) estão cada vez mais sendo aplicados à análise financeira, elaboração de relatórios, suporte à decisão de investimentos, gestão de riscos, conformidade e treinamento profissional. No entanto, a avaliação robusta de sua competência no domínio financeiro ainda é incompleta. Referenciais abertos amplamente utilizados, como FinQA, ConvFinQA e TAT-QA, desempenharam um papel importante no avanço da resposta a perguntas financeiras e do raciocínio numérico, mas focam principalmente na resposta a perguntas sobre relatórios financeiros e não fornecem uma hierarquia explícita de dificuldade profissional. Recursos mais amplos, incluindo FinanceBench, PIXIU, FinBen e FLaME, expandem a cobertura de tarefas financeiras, mas o problema de avaliar a transição do conhecimento fundamental para o raciocínio financeiro de nível especialista ainda permanece em aberto. Neste trabalho, apresentamos o FINESSE-Bench, um conjunto de oito referenciais especializados compreendendo 3.993 perguntas para avaliação hierárquica de competências financeiras em LLMs. O FINESSE-Bench combina conjuntos de dados orientados a exames, inspirados em certificações profissionais (CFA-like Níveis 1-3, CMT-like Nível 2 e CFTe-like Nível 1), coleções de tarefas aplicadas de negociação e um referencial de olimpíada em língua russa. Este design permite avaliar a amplitude do domínio, a degradação do desempenho à medida que a dificuldade aumenta, a capacidade de resolver tarefas computacionais e o comportamento do modelo em domínios financeiros especializados. Também descrevemos um protocolo de avaliação unificado abrangendo perguntas de múltipla escolha, respostas numéricas e respostas curtas abertas, juntamente com um esquema de pontuação automatizado para respostas livres baseado no paradigma de LLM como juiz. O FINESSE-Bench destina-se tanto a complementar os referenciais financeiros abertos existentes quanto a servir como ferramenta para uma avaliação mais substantiva de competências financeiras profissionalmente relevantes em modelos de linguagem de grande escala.

English

Large language models (LLMs) are increasingly being applied to financial analysis, reporting, investment decision support, risk management, compliance, and professional training. However, robust evaluation of their domain competence in finance remains incomplete. Widely used open benchmarks such as FinQA, ConvFinQA, and TAT-QA have played an important role in advancing financial question answering and numerical reasoning, but they focus primarily on question answering over financial reports and do not provide an explicit hierarchy of professional difficulty. Broader resources, including FinanceBench, PIXIU, FinBen, and FLaME, expand the coverage of financial tasks, yet the problem of evaluating the transition from foundational knowledge to expert-level financial reasoning remains open. In this work, we present FINESSE-Bench, a suite of eight specialized benchmarks comprising 3,993 questions for hierarchical evaluation of financial competencies in LLMs. FINESSE-Bench combines exam-oriented datasets inspired by professional certifications (CFA-like Levels 1-3, CMT-like Level 2, and CFTe-like Level 1), applied trading task collections, and a Russian-language olympiad benchmark. This design enables evaluation of domain breadth, performance degradation as difficulty increases, the ability to solve computational tasks, and model behavior in specialized financial domains. We also describe a unified evaluation protocol covering multiple-choice questions, numerical answers, and short open-ended responses, together with an automated scoring scheme for freeform answers based on the LLM-as-judge paradigm. FINESSE-Bench is intended both as a complement to existing open financial benchmarks and as a tool for more substantive evaluation of professionally relevant financial competencies in large language models.