¿Pueden los modelos GPT ser analistas financieros? Una evaluación de ChatGPT y GPT-4 en exámenes simulados del CFA
Can GPT models be Financial Analysts? An Evaluation of ChatGPT and GPT-4 on mock CFA Exams
October 12, 2023
Autores: Ethan Callanan, Amarachi Mbakwe, Antony Papadimitriou, Yulong Pei, Mathieu Sibue, Xiaodan Zhu, Zhiqiang Ma, Xiaomo Liu, Sameena Shah
cs.AI
Resumen
Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han demostrado un rendimiento notable en una amplia gama de tareas de Procesamiento del Lenguaje Natural (NLP, por sus siglas en inglés), a menudo igualando o incluso superando a los modelos específicos de última generación. Este estudio tiene como objetivo evaluar las capacidades de razonamiento financiero de los LLMs. Utilizamos preguntas de exámenes simulados del Programa de Analista Financiero Certificado (CFA, por sus siglas en inglés) para llevar a cabo una evaluación exhaustiva de ChatGPT y GPT-4 en análisis financiero, considerando escenarios de Cero Disparos (ZS, por sus siglas en inglés), Cadena de Pensamiento (CoT, por sus siglas en inglés) y Pocos Disparos (FS, por sus siglas en inglés). Presentamos un análisis detallado del rendimiento y las limitaciones de los modelos, y estimamos si tendrían posibilidades de aprobar los exámenes del CFA. Finalmente, esbozamos ideas sobre posibles estrategias y mejoras para potenciar la aplicabilidad de los LLMs en el ámbito financiero. Desde esta perspectiva, esperamos que este trabajo siente las bases para futuros estudios que continúen mejorando los LLMs en el razonamiento financiero mediante evaluaciones rigurosas.
English
Large Language Models (LLMs) have demonstrated remarkable performance on a
wide range of Natural Language Processing (NLP) tasks, often matching or even
beating state-of-the-art task-specific models. This study aims at assessing the
financial reasoning capabilities of LLMs. We leverage mock exam questions of
the Chartered Financial Analyst (CFA) Program to conduct a comprehensive
evaluation of ChatGPT and GPT-4 in financial analysis, considering Zero-Shot
(ZS), Chain-of-Thought (CoT), and Few-Shot (FS) scenarios. We present an
in-depth analysis of the models' performance and limitations, and estimate
whether they would have a chance at passing the CFA exams. Finally, we outline
insights into potential strategies and improvements to enhance the
applicability of LLMs in finance. In this perspective, we hope this work paves
the way for future studies to continue enhancing LLMs for financial reasoning
through rigorous evaluation.