ゴールデン・タッチストーン：金融大規模言語モデルの評価のための包括的なバイリンガルベンチマーク

Golden Touchstone: A Comprehensive Bilingual Benchmark for Evaluating Financial Large Language Models

November 9, 2024

著者: Xiaojun Wu, Junxi Liu, Huanyi Su, Zhouchi Lin, Yiyan Qi, Chengjin Xu, Jiajun Su, Jiajie Zhong, Fuwei Wang, Saizhuo Wang, Fengrui Hua, Jia Li, Jian Guo

cs.AI

要旨

大規模言語モデルが金融部門でますます一般的になるにつれて、これらの性能を包括的に評価する標準化された方法が急務となっています。しかし、既存の金融ベンチマークは、しばしば言語やタスクの範囲が限られているだけでなく、低品質のデータセットやLLMの評価に適さない課題といった問題を抱えています。これらの制限に対処するために、私たちは初めての包括的な金融LLMのためのバイリンガルベンチマークである「Golden Touchstone」を提案します。このベンチマークは、中国語と英語の代表的なデータセットを8つの主要な金融NLPタスクにわたって組み込んでいます。広範なオープンソースデータ収集と業界固有の要求から開発されたこのベンチマークには、モデルの言語理解および生成能力を徹底的に評価するためのさまざまな金融タスクが含まれています。GPT-4o Llama3、FinGPT、FinMAなどの主要モデルをベンチマークで比較分析することにより、これらのモデルが複雑な金融情報を処理する際の強みと制限を明らかにします。さらに、継続的な事前学習と金融指示チューニングを通じてトレーニングされた金融LLMであるTouchstone-GPTのソースコードをオープンソース化しました。このモデルはバイリンガルベンチマークで強力なパフォーマンスを示していますが、特定のタスクにはまだ制限があります。この研究は、金融大規模言語モデルに実用的な評価ツールを提供するだけでなく、将来の研究の開発と最適化を指導します。Golden TouchstoneのソースコードとTouchstone-GPTのモデルウェイトは、https://github.com/IDEA-FinAI/Golden-Touchstone で一般に公開されており、FinLLMの進化を促進し、この重要な分野でのさらなる研究を支援しています。

English

As large language models become increasingly prevalent in the financial sector, there is a pressing need for a standardized method to comprehensively assess their performance. However, existing finance benchmarks often suffer from limited language and task coverage, as well as challenges such as low-quality datasets and inadequate adaptability for LLM evaluation. To address these limitations, we propose "Golden Touchstone", the first comprehensive bilingual benchmark for financial LLMs, which incorporates representative datasets from both Chinese and English across eight core financial NLP tasks. Developed from extensive open source data collection and industry-specific demands, this benchmark includes a variety of financial tasks aimed at thoroughly assessing models' language understanding and generation capabilities. Through comparative analysis of major models on the benchmark, such as GPT-4o Llama3, FinGPT and FinMA, we reveal their strengths and limitations in processing complex financial information. Additionally, we open-sourced Touchstone-GPT, a financial LLM trained through continual pre-training and financial instruction tuning, which demonstrates strong performance on the bilingual benchmark but still has limitations in specific tasks.This research not only provides the financial large language models with a practical evaluation tool but also guides the development and optimization of future research. The source code for Golden Touchstone and model weight of Touchstone-GPT have been made publicly available at https://github.com/IDEA-FinAI/Golden-Touchstone, contributing to the ongoing evolution of FinLLMs and fostering further research in this critical area.