Pedra de Toque Dourada: Um Benchmark Bilíngue Abrangente para Avaliar Modelos de Linguagem Financeira de Grande Escala

Golden Touchstone: A Comprehensive Bilingual Benchmark for Evaluating Financial Large Language Models

November 9, 2024

Autores: Xiaojun Wu, Junxi Liu, Huanyi Su, Zhouchi Lin, Yiyan Qi, Chengjin Xu, Jiajun Su, Jiajie Zhong, Fuwei Wang, Saizhuo Wang, Fengrui Hua, Jia Li, Jian Guo

cs.AI

Resumo

À medida que os grandes modelos de linguagem se tornam cada vez mais prevalentes no setor financeiro, há uma necessidade premente de um método padronizado para avaliar abrangente seu desempenho. No entanto, os benchmarks financeiros existentes frequentemente sofrem com cobertura limitada de idiomas e tarefas, bem como desafios como conjuntos de dados de baixa qualidade e adaptabilidade inadequada para avaliação de LLMs. Para lidar com essas limitações, propomos o "Golden Touchstone", o primeiro benchmark bilíngue abrangente para LLMs financeiros, que incorpora conjuntos de dados representativos tanto em chinês quanto em inglês em oito tarefas principais de PNL financeira. Desenvolvido a partir de extensa coleta de dados de código aberto e demandas específicas da indústria, este benchmark inclui uma variedade de tarefas financeiras com o objetivo de avaliar minuciosamente as capacidades de compreensão e geração de linguagem dos modelos. Através da análise comparativa de grandes modelos no benchmark, como GPT-4o Llama3, FinGPT e FinMA, revelamos suas forças e limitações no processamento de informações financeiras complexas. Além disso, disponibilizamos o Touchstone-GPT de código aberto, um LLM financeiro treinado por pré-treinamento contínuo e ajuste de instruções financeiras, que demonstra um desempenho sólido no benchmark bilíngue, mas ainda apresenta limitações em tarefas específicas. Esta pesquisa não apenas fornece aos grandes modelos de linguagem financeira uma ferramenta de avaliação prática, mas também orienta o desenvolvimento e otimização de pesquisas futuras. O código-fonte do Golden Touchstone e os pesos do modelo do Touchstone-GPT foram disponibilizados publicamente em https://github.com/IDEA-FinAI/Golden-Touchstone, contribuindo para a evolução contínua dos FinLLMs e fomentando pesquisas adicionais nesta área crítica.

English

As large language models become increasingly prevalent in the financial sector, there is a pressing need for a standardized method to comprehensively assess their performance. However, existing finance benchmarks often suffer from limited language and task coverage, as well as challenges such as low-quality datasets and inadequate adaptability for LLM evaluation. To address these limitations, we propose "Golden Touchstone", the first comprehensive bilingual benchmark for financial LLMs, which incorporates representative datasets from both Chinese and English across eight core financial NLP tasks. Developed from extensive open source data collection and industry-specific demands, this benchmark includes a variety of financial tasks aimed at thoroughly assessing models' language understanding and generation capabilities. Through comparative analysis of major models on the benchmark, such as GPT-4o Llama3, FinGPT and FinMA, we reveal their strengths and limitations in processing complex financial information. Additionally, we open-sourced Touchstone-GPT, a financial LLM trained through continual pre-training and financial instruction tuning, which demonstrates strong performance on the bilingual benchmark but still has limitations in specific tasks.This research not only provides the financial large language models with a practical evaluation tool but also guides the development and optimization of future research. The source code for Golden Touchstone and model weight of Touchstone-GPT have been made publicly available at https://github.com/IDEA-FinAI/Golden-Touchstone, contributing to the ongoing evolution of FinLLMs and fostering further research in this critical area.