Les modèles GPT peuvent-ils être des analystes financiers ? Une évaluation de ChatGPT et GPT-4 sur des examens fictifs du CFA

Can GPT models be Financial Analysts? An Evaluation of ChatGPT and GPT-4 on mock CFA Exams

October 12, 2023

Auteurs: Ethan Callanan, Amarachi Mbakwe, Antony Papadimitriou, Yulong Pei, Mathieu Sibue, Xiaodan Zhu, Zhiqiang Ma, Xiaomo Liu, Sameena Shah

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) ont démontré des performances remarquables sur un large éventail de tâches de traitement du langage naturel (NLP), égalant souvent, voire surpassant, les modèles spécifiques à une tâche de pointe. Cette étude vise à évaluer les capacités de raisonnement financier des LLMs. Nous utilisons des questions d'examen simulées du programme de Chartered Financial Analyst (CFA) pour mener une évaluation approfondie de ChatGPT et GPT-4 en analyse financière, en considérant les scénarios Zero-Shot (ZS), Chain-of-Thought (CoT) et Few-Shot (FS). Nous présentons une analyse détaillée des performances et des limites des modèles, et estimons s'ils auraient une chance de réussir les examens du CFA. Enfin, nous esquissons des perspectives sur les stratégies et améliorations potentielles pour renforcer l'applicabilité des LLMs en finance. Dans cette optique, nous espérons que ce travail ouvre la voie à des études futures pour continuer à améliorer les LLMs en matière de raisonnement financier grâce à une évaluation rigoureuse.

English

Large Language Models (LLMs) have demonstrated remarkable performance on a wide range of Natural Language Processing (NLP) tasks, often matching or even beating state-of-the-art task-specific models. This study aims at assessing the financial reasoning capabilities of LLMs. We leverage mock exam questions of the Chartered Financial Analyst (CFA) Program to conduct a comprehensive evaluation of ChatGPT and GPT-4 in financial analysis, considering Zero-Shot (ZS), Chain-of-Thought (CoT), and Few-Shot (FS) scenarios. We present an in-depth analysis of the models' performance and limitations, and estimate whether they would have a chance at passing the CFA exams. Finally, we outline insights into potential strategies and improvements to enhance the applicability of LLMs in finance. In this perspective, we hope this work paves the way for future studies to continue enhancing LLMs for financial reasoning through rigorous evaluation.