Zijn ChatGPT en GPT-4 Algemene Oplossers voor Financiële Tekstanalyse? Een Onderzoek naar Verschillende Typische Taken

Are ChatGPT and GPT-4 General-Purpose Solvers for Financial Text Analytics? An Examination on Several Typical Tasks

May 10, 2023

Auteurs: Xianzhi Li, Xiaodan Zhu, Zhiqiang Ma, Xiaomo Liu, Sameena Shah

cs.AI

Samenvatting

De meest recente grote taalmodelen zoals ChatGPT en GPT-4 hebben aanzienlijke aandacht gekregen, omdat ze in staat zijn hoogwaardige reacties te genereren op menselijke input. Ondanks de uitgebreide tests van ChatGPT en GPT-4 op generieke tekstcorpora, die hun indrukwekkende mogelijkheden aantonen, is er nog geen studie uitgevoerd die zich richt op financiële corpora. In deze studie willen we deze kloof overbruggen door het potentieel van ChatGPT en GPT-4 te onderzoeken als oplossers voor typische financiële tekstanalytische problemen in een zero-shot of few-shot setting. Specifiek beoordelen we hun mogelijkheden op vier representatieve taken over vijf verschillende financiële tekstuele datasets. Het voorlopige onderzoek toont aan dat ChatGPT en GPT-4 moeite hebben met taken zoals financiële named entity recognition (NER) en sentimentanalyse, waar domeinspecifieke kennis vereist is, terwijl ze uitblinken in numerieke redeneertaken. We rapporteren zowel de sterke punten als de beperkingen van de huidige versies van ChatGPT en GPT-4, en vergelijken deze met state-of-the-art fijn afgestemde modellen en vooraf getrainde domeinspecifieke generatieve modellen. Onze experimenten bieden kwalitatieve studies, waarmee we hopen het vermogen van de bestaande modellen beter te begrijpen en verdere verbeteringen te bevorderen.

English

The most recent large language models such as ChatGPT and GPT-4 have garnered significant attention, as they are capable of generating high-quality responses to human input. Despite the extensive testing of ChatGPT and GPT-4 on generic text corpora, showcasing their impressive capabilities, a study focusing on financial corpora has not been conducted. In this study, we aim to bridge this gap by examining the potential of ChatGPT and GPT-4 as a solver for typical financial text analytic problems in the zero-shot or few-shot setting. Specifically, we assess their capabilities on four representative tasks over five distinct financial textual datasets. The preliminary study shows that ChatGPT and GPT-4 struggle on tasks such as financial named entity recognition (NER) and sentiment analysis, where domain-specific knowledge is required, while they excel in numerical reasoning tasks. We report both the strengths and limitations of the current versions of ChatGPT and GPT-4, comparing them to the state-of-the-art finetuned models as well as pretrained domain-specific generative models. Our experiments provide qualitative studies, through which we hope to help understand the capability of the existing models and facilitate further improvements.