Могут ли модели GPT быть финансовыми аналитиками? Оценка ChatGPT и GPT-4 на пробных экзаменах CFA

Can GPT models be Financial Analysts? An Evaluation of ChatGPT and GPT-4 on mock CFA Exams

October 12, 2023

Авторы: Ethan Callanan, Amarachi Mbakwe, Antony Papadimitriou, Yulong Pei, Mathieu Sibue, Xiaodan Zhu, Zhiqiang Ma, Xiaomo Liu, Sameena Shah

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали выдающиеся результаты в широком спектре задач обработки естественного языка (NLP), часто достигая или даже превосходя показатели современных специализированных моделей. Данное исследование направлено на оценку способностей LLM к финансовому анализу. Мы используем пробные экзаменационные вопросы программы Chartered Financial Analyst (CFA) для всесторонней оценки ChatGPT и GPT-4 в области финансового анализа, рассматривая сценарии Zero-Shot (ZS), Chain-of-Thought (CoT) и Few-Shot (FS). Мы представляем детальный анализ производительности и ограничений моделей, а также оцениваем, есть ли у них шансы сдать экзамены CFA. В заключение мы предлагаем идеи по потенциальным стратегиям и улучшениям для повышения применимости LLM в финансах. В этой перспективе мы надеемся, что данная работа проложит путь для будущих исследований, направленных на дальнейшее совершенствование LLM для финансового анализа через строгую оценку.

English

Large Language Models (LLMs) have demonstrated remarkable performance on a wide range of Natural Language Processing (NLP) tasks, often matching or even beating state-of-the-art task-specific models. This study aims at assessing the financial reasoning capabilities of LLMs. We leverage mock exam questions of the Chartered Financial Analyst (CFA) Program to conduct a comprehensive evaluation of ChatGPT and GPT-4 in financial analysis, considering Zero-Shot (ZS), Chain-of-Thought (CoT), and Few-Shot (FS) scenarios. We present an in-depth analysis of the models' performance and limitations, and estimate whether they would have a chance at passing the CFA exams. Finally, we outline insights into potential strategies and improvements to enhance the applicability of LLMs in finance. In this perspective, we hope this work paves the way for future studies to continue enhancing LLMs for financial reasoning through rigorous evaluation.