Kunnen GPT-modellen financieel analisten zijn? Een evaluatie van ChatGPT en GPT-4 op mock CFA-examens

Can GPT models be Financial Analysts? An Evaluation of ChatGPT and GPT-4 on mock CFA Exams

October 12, 2023

Auteurs: Ethan Callanan, Amarachi Mbakwe, Antony Papadimitriou, Yulong Pei, Mathieu Sibue, Xiaodan Zhu, Zhiqiang Ma, Xiaomo Liu, Sameena Shah

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben opmerkelijke prestaties getoond op een breed scala aan Natural Language Processing (NLP)-taken, waarbij ze vaak state-of-the-art, taakspecifieke modellen evenaren of zelfs overtreffen. Deze studie heeft als doel de financiële redeneervaardigheden van LLMs te beoordelen. We maken gebruik van oefenexamenvragen van het Chartered Financial Analyst (CFA)-programma om een uitgebreide evaluatie uit te voeren van ChatGPT en GPT-4 op het gebied van financiële analyse, waarbij we Zero-Shot (ZS), Chain-of-Thought (CoT) en Few-Shot (FS)-scenario's in overweging nemen. We presenteren een diepgaande analyse van de prestaties en beperkingen van de modellen en schatten in of ze een kans zouden hebben om de CFA-examens te halen. Tot slot geven we inzichten in mogelijke strategieën en verbeteringen om de toepasbaarheid van LLMs in de financiële sector te vergroten. In dit perspectief hopen we dat dit werk de weg vrijmaakt voor toekomstige studies om LLMs voor financieel redeneren verder te verbeteren door middel van rigoureuze evaluatie.

English

Large Language Models (LLMs) have demonstrated remarkable performance on a wide range of Natural Language Processing (NLP) tasks, often matching or even beating state-of-the-art task-specific models. This study aims at assessing the financial reasoning capabilities of LLMs. We leverage mock exam questions of the Chartered Financial Analyst (CFA) Program to conduct a comprehensive evaluation of ChatGPT and GPT-4 in financial analysis, considering Zero-Shot (ZS), Chain-of-Thought (CoT), and Few-Shot (FS) scenarios. We present an in-depth analysis of the models' performance and limitations, and estimate whether they would have a chance at passing the CFA exams. Finally, we outline insights into potential strategies and improvements to enhance the applicability of LLMs in finance. In this perspective, we hope this work paves the way for future studies to continue enhancing LLMs for financial reasoning through rigorous evaluation.