Золотой Камень Россыпи: Комплексный Двуязычный Критерий для Оценки Финансовых Больших Языковых Моделей

Golden Touchstone: A Comprehensive Bilingual Benchmark for Evaluating Financial Large Language Models

November 9, 2024

Авторы: Xiaojun Wu, Junxi Liu, Huanyi Su, Zhouchi Lin, Yiyan Qi, Chengjin Xu, Jiajun Su, Jiajie Zhong, Fuwei Wang, Saizhuo Wang, Fengrui Hua, Jia Li, Jian Guo

cs.AI

Аннотация

Поскольку большие языковые модели становятся все более распространенными в финансовом секторе, существует настоятельная необходимость в стандартизированном методе для всесторонней оценки их производительности. Однако существующие финансовые бенчмарки часто страдают от ограниченного охвата языка и задач, а также от вызовов, таких как низкокачественные наборы данных и недостаточная приспособленность для оценки LLM. Для преодоления этих ограничений мы предлагаем "Golden Touchstone" - первый всесторонний двуязычный бенчмарк для финансовых LLM, который включает представительные наборы данных как на китайском, так и на английском языках по восьми основным финансовым задачам NLP. Разработанный на основе обширной коллекции открытых данных и требований отрасли, этот бенчмарк включает разнообразные финансовые задачи, направленные на тщательную оценку понимания и генерации языка моделями. Через сравнительный анализ основных моделей на бенчмарке, таких как GPT-4o Llama3, FinGPT и FinMA, мы раскрываем их сильные стороны и ограничения в обработке сложной финансовой информации. Кроме того, мы опубликовали Touchstone-GPT, финансовую LLM, обученную через непрерывное предварительное обучение и настройку финансовых инструкций, которая демонстрирует высокую производительность на двуязычном бенчмарке, но все еще имеет ограничения в конкретных задачах. Это исследование не только предоставляет крупным финансовым языковым моделям практический инструмент оценки, но также направляет развитие и оптимизацию будущих исследований. Исходный код для Golden Touchstone и веса модели Touchstone-GPT были опубликованы на https://github.com/IDEA-FinAI/Golden-Touchstone, способствуя непрерывному развитию FinLLM и стимулируя дальнейшие исследования в этой важной области.

English

As large language models become increasingly prevalent in the financial sector, there is a pressing need for a standardized method to comprehensively assess their performance. However, existing finance benchmarks often suffer from limited language and task coverage, as well as challenges such as low-quality datasets and inadequate adaptability for LLM evaluation. To address these limitations, we propose "Golden Touchstone", the first comprehensive bilingual benchmark for financial LLMs, which incorporates representative datasets from both Chinese and English across eight core financial NLP tasks. Developed from extensive open source data collection and industry-specific demands, this benchmark includes a variety of financial tasks aimed at thoroughly assessing models' language understanding and generation capabilities. Through comparative analysis of major models on the benchmark, such as GPT-4o Llama3, FinGPT and FinMA, we reveal their strengths and limitations in processing complex financial information. Additionally, we open-sourced Touchstone-GPT, a financial LLM trained through continual pre-training and financial instruction tuning, which demonstrates strong performance on the bilingual benchmark but still has limitations in specific tasks.This research not only provides the financial large language models with a practical evaluation tool but also guides the development and optimization of future research. The source code for Golden Touchstone and model weight of Touchstone-GPT have been made publicly available at https://github.com/IDEA-FinAI/Golden-Touchstone, contributing to the ongoing evolution of FinLLMs and fostering further research in this critical area.