ChatGPT와 GPT-4는 금융 텍스트 분석을 위한 범용 솔버인가? 여러 전형적인 작업에 대한 검토

Are ChatGPT and GPT-4 General-Purpose Solvers for Financial Text Analytics? An Examination on Several Typical Tasks

May 10, 2023

저자: Xianzhi Li, Xiaodan Zhu, Zhiqiang Ma, Xiaomo Liu, Sameena Shah

cs.AI

초록

최근 ChatGPT와 GPT-4와 같은 대규모 언어 모델은 인간의 입력에 대해 고품질의 응답을 생성할 수 있는 능력으로 인해 상당한 주목을 받고 있습니다. ChatGPT와 GPT-4가 일반 텍스트 코퍼스에서 인상적인 성능을 보여주는 광범위한 테스트가 이루어졌음에도 불구하고, 금융 코퍼스에 초점을 맞춘 연구는 아직 진행되지 않았습니다. 본 연구에서는 이러한 격차를 메우기 위해 ChatGPT와 GPT-4가 제로샷 또는 퓨샷 설정에서 전형적인 금융 텍스트 분석 문제를 해결하는 잠재력을 조사하고자 합니다. 구체적으로, 우리는 5개의 서로 다른 금융 텍스트 데이터셋에 대해 4가지 대표적인 작업에서 이들의 능력을 평가합니다. 예비 연구 결과, ChatGPT와 GPT-4는 도메인 특화 지식이 필요한 금융 개체명 인식(NER) 및 감정 분석과 같은 작업에서는 어려움을 겪는 반면, 수치 추론 작업에서는 뛰어난 성능을 보여줍니다. 우리는 현재 버전의 ChatGPT와 GPT-4의 강점과 한계를 보고하며, 이를 최신의 파인튜닝 모델 및 사전 학습된 도메인 특화 생성 모델과 비교합니다. 본 실험은 정성적 연구를 통해 기존 모델의 능력을 이해하고, 더 나은 개선을 촉진하는 데 도움이 되기를 바랍니다.

English

The most recent large language models such as ChatGPT and GPT-4 have garnered significant attention, as they are capable of generating high-quality responses to human input. Despite the extensive testing of ChatGPT and GPT-4 on generic text corpora, showcasing their impressive capabilities, a study focusing on financial corpora has not been conducted. In this study, we aim to bridge this gap by examining the potential of ChatGPT and GPT-4 as a solver for typical financial text analytic problems in the zero-shot or few-shot setting. Specifically, we assess their capabilities on four representative tasks over five distinct financial textual datasets. The preliminary study shows that ChatGPT and GPT-4 struggle on tasks such as financial named entity recognition (NER) and sentiment analysis, where domain-specific knowledge is required, while they excel in numerical reasoning tasks. We report both the strengths and limitations of the current versions of ChatGPT and GPT-4, comparing them to the state-of-the-art finetuned models as well as pretrained domain-specific generative models. Our experiments provide qualitative studies, through which we hope to help understand the capability of the existing models and facilitate further improvements.