ChatPaper.aiChatPaper

ChatGPTとGPT-4は金融テキスト分析のための汎用ソルバーなのか?典型的なタスクにおける検証

Are ChatGPT and GPT-4 General-Purpose Solvers for Financial Text Analytics? An Examination on Several Typical Tasks

May 10, 2023
著者: Xianzhi Li, Xiaodan Zhu, Zhiqiang Ma, Xiaomo Liu, Sameena Shah
cs.AI

要旨

ChatGPTやGPT-4のような最新の大規模言語モデルは、人間の入力に対して高品質な応答を生成できることから、大きな注目を集めています。ChatGPTとGPT-4は一般的なテキストコーパスで広範にテストされ、その印象的な能力が示されていますが、金融コーパスに焦点を当てた研究はまだ行われていません。本研究では、このギャップを埋めるため、ChatGPTとGPT-4がゼロショットまたは少数ショット設定において、典型的な金融テキスト分析問題のソルバーとしての可能性を検証します。具体的には、5つの異なる金融テキストデータセットを用いて、4つの代表的なタスクにおけるそれらの能力を評価します。予備調査の結果、ChatGPTとGPT-4は、ドメイン固有の知識が要求される金融固有表現認識(NER)や感情分析などのタスクでは苦戦する一方、数値推論タスクでは優れた性能を発揮することがわかりました。我々は、ChatGPTとGPT-4の現行バージョンの強みと限界を報告し、それらを最先端のファインチューニングモデルやドメイン固有の事前学習済み生成モデルと比較します。実験を通じて質的な研究を行い、既存モデルの能力を理解し、さらなる改善を促進することを目指します。
English
The most recent large language models such as ChatGPT and GPT-4 have garnered significant attention, as they are capable of generating high-quality responses to human input. Despite the extensive testing of ChatGPT and GPT-4 on generic text corpora, showcasing their impressive capabilities, a study focusing on financial corpora has not been conducted. In this study, we aim to bridge this gap by examining the potential of ChatGPT and GPT-4 as a solver for typical financial text analytic problems in the zero-shot or few-shot setting. Specifically, we assess their capabilities on four representative tasks over five distinct financial textual datasets. The preliminary study shows that ChatGPT and GPT-4 struggle on tasks such as financial named entity recognition (NER) and sentiment analysis, where domain-specific knowledge is required, while they excel in numerical reasoning tasks. We report both the strengths and limitations of the current versions of ChatGPT and GPT-4, comparing them to the state-of-the-art finetuned models as well as pretrained domain-specific generative models. Our experiments provide qualitative studies, through which we hope to help understand the capability of the existing models and facilitate further improvements.
PDF41December 15, 2024