Os modelos GPT podem ser analistas financeiros? Uma avaliação do ChatGPT e do GPT-4 em exames simulados do CFA

Can GPT models be Financial Analysts? An Evaluation of ChatGPT and GPT-4 on mock CFA Exams

October 12, 2023

Autores: Ethan Callanan, Amarachi Mbakwe, Antony Papadimitriou, Yulong Pei, Mathieu Sibue, Xiaodan Zhu, Zhiqiang Ma, Xiaomo Liu, Sameena Shah

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado desempenho notável em uma ampla gama de tarefas de Processamento de Linguagem Natural (NLP), muitas vezes igualando ou até superando modelos específicos de última geração. Este estudo tem como objetivo avaliar as capacidades de raciocínio financeiro dos LLMs. Utilizamos questões simuladas do Programa de Analista Financeiro Certificado (CFA) para realizar uma avaliação abrangente do ChatGPT e do GPT-4 em análise financeira, considerando cenários de Zero-Shot (ZS), Chain-of-Thought (CoT) e Few-Shot (FS). Apresentamos uma análise detalhada do desempenho e das limitações dos modelos, e estimamos se eles teriam alguma chance de passar nos exames do CFA. Por fim, delineamos insights sobre estratégias e melhorias potenciais para aprimorar a aplicabilidade dos LLMs no setor financeiro. Nessa perspectiva, esperamos que este trabalho abra caminho para estudos futuros continuarem aprimorando os LLMs para o raciocínio financeiro por meio de avaliações rigorosas.

English

Large Language Models (LLMs) have demonstrated remarkable performance on a wide range of Natural Language Processing (NLP) tasks, often matching or even beating state-of-the-art task-specific models. This study aims at assessing the financial reasoning capabilities of LLMs. We leverage mock exam questions of the Chartered Financial Analyst (CFA) Program to conduct a comprehensive evaluation of ChatGPT and GPT-4 in financial analysis, considering Zero-Shot (ZS), Chain-of-Thought (CoT), and Few-Shot (FS) scenarios. We present an in-depth analysis of the models' performance and limitations, and estimate whether they would have a chance at passing the CFA exams. Finally, we outline insights into potential strategies and improvements to enhance the applicability of LLMs in finance. In this perspective, we hope this work paves the way for future studies to continue enhancing LLMs for financial reasoning through rigorous evaluation.