Können GPT-Modelle Finanzanalysten sein? Eine Bewertung von ChatGPT und GPT-4 anhand von simulierten CFA-Prüfungen

Can GPT models be Financial Analysts? An Evaluation of ChatGPT and GPT-4 on mock CFA Exams

October 12, 2023

Autoren: Ethan Callanan, Amarachi Mbakwe, Antony Papadimitriou, Yulong Pei, Mathieu Sibue, Xiaodan Zhu, Zhiqiang Ma, Xiaomo Liu, Sameena Shah

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswerte Leistungen in einer Vielzahl von Aufgaben der natürlichen Sprachverarbeitung (NLP) gezeigt, die oft mit den besten aufgabenspezifischen Modellen gleichziehen oder diese sogar übertreffen. Diese Studie zielt darauf ab, die finanziellen Denkfähigkeiten von LLMs zu bewerten. Wir nutzen Prüfungsfragen aus dem Chartered Financial Analyst (CFA) Programm, um eine umfassende Bewertung von ChatGPT und GPT-4 in der Finanzanalyse durchzuführen, wobei Zero-Shot (ZS), Chain-of-Thought (CoT) und Few-Shot (FS) Szenarien berücksichtigt werden. Wir präsentieren eine detaillierte Analyse der Leistungen und Grenzen der Modelle und schätzen ein, ob sie eine Chance hätten, die CFA-Prüfungen zu bestehen. Schließlich skizzieren wir Einblicke in potenzielle Strategien und Verbesserungen, um die Anwendbarkeit von LLMs in der Finanzwelt zu steigern. In dieser Perspektive hoffen wir, dass diese Arbeit den Weg für zukünftige Studien ebnet, um die finanziellen Denkfähigkeiten von LLMs durch rigorose Bewertung weiter zu verbessern.

English

Large Language Models (LLMs) have demonstrated remarkable performance on a wide range of Natural Language Processing (NLP) tasks, often matching or even beating state-of-the-art task-specific models. This study aims at assessing the financial reasoning capabilities of LLMs. We leverage mock exam questions of the Chartered Financial Analyst (CFA) Program to conduct a comprehensive evaluation of ChatGPT and GPT-4 in financial analysis, considering Zero-Shot (ZS), Chain-of-Thought (CoT), and Few-Shot (FS) scenarios. We present an in-depth analysis of the models' performance and limitations, and estimate whether they would have a chance at passing the CFA exams. Finally, we outline insights into potential strategies and improvements to enhance the applicability of LLMs in finance. In this perspective, we hope this work paves the way for future studies to continue enhancing LLMs for financial reasoning through rigorous evaluation.