FINESSE-Bench: Иерархический набор тестов для оценки знаний в финансовой области и технического анализа в больших языковых моделях

Аннотация

Большие языковые модели (LLM) все активнее применяются в финансовом анализе, составлении отчетов, поддержке инвестиционных решений, управлении рисками, комплаенсе и профессиональном обучении. Однако надежная оценка их компетентности в области финансов остается неполной. Широко используемые открытые бенчмарки, такие как FinQA, ConvFinQA и TAT-QA, сыграли важную роль в развитии финансовых вопросно-ответных систем и численных рассуждений, но они в первую очередь ориентированы на ответы на вопросы по финансовой отчетности и не предусматривают явной иерархии профессиональной сложности. Более обширные ресурсы, включая FinanceBench, PIXIU, FinBen и FLaME, расширяют охват финансовых задач, однако проблема оценки перехода от фундаментальных знаний к экспертному уровню финансовых рассуждений остается открытой. В данной работе мы представляем FINESSE-Bench — набор из восьми специализированных бенчмарков, содержащий 3 993 вопроса для иерархической оценки финансовых компетенций LLM. FINESSE-Bench объединяет наборы данных экзаменационной направленности, вдохновленные профессиональными сертификациями (CFA-подобные уровни 1–3, CMT-подобный уровень 2 и CFTe-подобный уровень 1), прикладные коллекции торговых задач, а также русскоязычный олимпиадный бенчмарк. Такая структура позволяет оценивать широту предметной области, ухудшение производительности по мере роста сложности, способность решать вычислительные задачи и поведение модели в специализированных финансовых областях. Мы также описываем единый протокол оценки, охватывающий вопросы с множественным выбором, числовые ответы и краткие открытые ответы, совместно с автоматизированной схемой оценки свободно формулируемых ответов на основе парадигмы LLM-как-судья. FINESSE-Bench предназначен как для дополнения существующих открытых финансовых бенчмарков, так и в качестве инструмента для более содержательной оценки профессионально значимых финансовых компетенций больших языковых моделей.

English

Large language models (LLMs) are increasingly being applied to financial analysis, reporting, investment decision support, risk management, compliance, and professional training. However, robust evaluation of their domain competence in finance remains incomplete. Widely used open benchmarks such as FinQA, ConvFinQA, and TAT-QA have played an important role in advancing financial question answering and numerical reasoning, but they focus primarily on question answering over financial reports and do not provide an explicit hierarchy of professional difficulty. Broader resources, including FinanceBench, PIXIU, FinBen, and FLaME, expand the coverage of financial tasks, yet the problem of evaluating the transition from foundational knowledge to expert-level financial reasoning remains open. In this work, we present FINESSE-Bench, a suite of eight specialized benchmarks comprising 3,993 questions for hierarchical evaluation of financial competencies in LLMs. FINESSE-Bench combines exam-oriented datasets inspired by professional certifications (CFA-like Levels 1-3, CMT-like Level 2, and CFTe-like Level 1), applied trading task collections, and a Russian-language olympiad benchmark. This design enables evaluation of domain breadth, performance degradation as difficulty increases, the ability to solve computational tasks, and model behavior in specialized financial domains. We also describe a unified evaluation protocol covering multiple-choice questions, numerical answers, and short open-ended responses, together with an automated scoring scheme for freeform answers based on the LLM-as-judge paradigm. FINESSE-Bench is intended both as a complement to existing open financial benchmarks and as a tool for more substantive evaluation of professionally relevant financial competencies in large language models.