Sind ChatGPT und GPT-4 universelle Lösungsansätze für die Textanalyse im Finanzbereich? Eine Untersuchung anhand mehrerer typischer Aufgaben

Are ChatGPT and GPT-4 General-Purpose Solvers for Financial Text Analytics? An Examination on Several Typical Tasks

May 10, 2023

Autoren: Xianzhi Li, Xiaodan Zhu, Zhiqiang Ma, Xiaomo Liu, Sameena Shah

cs.AI

Zusammenfassung

Die jüngsten großen Sprachmodelle wie ChatGPT und GPT-4 haben erhebliche Aufmerksamkeit erregt, da sie in der Lage sind, hochwertige Antworten auf menschliche Eingaben zu generieren. Obwohl ChatGPT und GPT-4 umfangreich auf generischen Textkorpora getestet wurden und dabei ihre beeindruckenden Fähigkeiten unter Beweis gestellt haben, wurde bisher keine Studie durchgeführt, die sich auf Finanzkorpora konzentriert. In dieser Studie wollen wir diese Lücke schließen, indem wir das Potenzial von ChatGPT und GPT-4 als Lösungsansatz für typische Probleme der Finanztextanalyse im Zero-Shot- oder Few-Shot-Setting untersuchen. Konkret bewerten wir ihre Fähigkeiten anhand von vier repräsentativen Aufgaben über fünf verschiedene Finanztextdatensätze. Die vorläufige Studie zeigt, dass ChatGPT und GPT-4 bei Aufgaben wie der Erkennung finanzieller benannter Entitäten (NER) und der Sentimentanalyse, bei denen domänenspezifisches Wissen erforderlich ist, Schwierigkeiten haben, während sie bei numerischen Denkaufgaben hervorragende Leistungen erbringen. Wir berichten sowohl über die Stärken als auch die Grenzen der aktuellen Versionen von ChatGPT und GPT-4 und vergleichen sie mit state-of-the-art feinabgestimmten Modellen sowie vortrainierten domänenspezifischen generativen Modellen. Unsere Experimente liefern qualitative Studien, durch die wir hoffen, die Fähigkeiten der bestehenden Modelle besser zu verstehen und weitere Verbesserungen zu fördern.

English

The most recent large language models such as ChatGPT and GPT-4 have garnered significant attention, as they are capable of generating high-quality responses to human input. Despite the extensive testing of ChatGPT and GPT-4 on generic text corpora, showcasing their impressive capabilities, a study focusing on financial corpora has not been conducted. In this study, we aim to bridge this gap by examining the potential of ChatGPT and GPT-4 as a solver for typical financial text analytic problems in the zero-shot or few-shot setting. Specifically, we assess their capabilities on four representative tasks over five distinct financial textual datasets. The preliminary study shows that ChatGPT and GPT-4 struggle on tasks such as financial named entity recognition (NER) and sentiment analysis, where domain-specific knowledge is required, while they excel in numerical reasoning tasks. We report both the strengths and limitations of the current versions of ChatGPT and GPT-4, comparing them to the state-of-the-art finetuned models as well as pretrained domain-specific generative models. Our experiments provide qualitative studies, through which we hope to help understand the capability of the existing models and facilitate further improvements.