Piedra de Toque Dorada: Un Benchmark Bilingüe Integral para Evaluar Modelos de Lenguaje Financiero de Gran Escala

Golden Touchstone: A Comprehensive Bilingual Benchmark for Evaluating Financial Large Language Models

November 9, 2024

Autores: Xiaojun Wu, Junxi Liu, Huanyi Su, Zhouchi Lin, Yiyan Qi, Chengjin Xu, Jiajun Su, Jiajie Zhong, Fuwei Wang, Saizhuo Wang, Fengrui Hua, Jia Li, Jian Guo

cs.AI

Resumen

A medida que los modelos de lenguaje grandes se vuelven cada vez más comunes en el sector financiero, existe una necesidad apremiante de un método estandarizado para evaluar exhaustivamente su rendimiento. Sin embargo, los benchmarks financieros existentes a menudo sufren de una cobertura limitada en lenguaje y tareas, así como de desafíos como conjuntos de datos de baja calidad e inadecuada adaptabilidad para la evaluación de LLM. Para abordar estas limitaciones, proponemos "Golden Touchstone", el primer benchmark bilingüe integral para LLM financieros, que incorpora conjuntos de datos representativos tanto en chino como en inglés en ocho tareas fundamentales de PNL financiera. Desarrollado a partir de una extensa recopilación de datos de código abierto y demandas específicas de la industria, este benchmark incluye una variedad de tareas financieras destinadas a evaluar a fondo las capacidades de comprensión y generación de lenguaje de los modelos. A través del análisis comparativo de los principales modelos en el benchmark, como GPT-4o Llama3, FinGPT y FinMA, revelamos sus fortalezas y limitaciones en el procesamiento de información financiera compleja. Además, hemos hecho de código abierto Touchstone-GPT, un LLM financiero entrenado a través de pre-entrenamiento continuo y ajuste de instrucciones financieras, que demuestra un rendimiento sólido en el benchmark bilingüe pero aún tiene limitaciones en tareas específicas. Esta investigación no solo proporciona a los grandes modelos de lenguaje financieros una herramienta de evaluación práctica, sino que también guía el desarrollo y la optimización de futuras investigaciones. El código fuente de Golden Touchstone y el peso del modelo de Touchstone-GPT se han puesto a disposición del público en https://github.com/IDEA-FinAI/Golden-Touchstone, contribuyendo a la evolución continua de los FinLLMs y fomentando más investigaciones en esta área crítica.

English

As large language models become increasingly prevalent in the financial sector, there is a pressing need for a standardized method to comprehensively assess their performance. However, existing finance benchmarks often suffer from limited language and task coverage, as well as challenges such as low-quality datasets and inadequate adaptability for LLM evaluation. To address these limitations, we propose "Golden Touchstone", the first comprehensive bilingual benchmark for financial LLMs, which incorporates representative datasets from both Chinese and English across eight core financial NLP tasks. Developed from extensive open source data collection and industry-specific demands, this benchmark includes a variety of financial tasks aimed at thoroughly assessing models' language understanding and generation capabilities. Through comparative analysis of major models on the benchmark, such as GPT-4o Llama3, FinGPT and FinMA, we reveal their strengths and limitations in processing complex financial information. Additionally, we open-sourced Touchstone-GPT, a financial LLM trained through continual pre-training and financial instruction tuning, which demonstrates strong performance on the bilingual benchmark but still has limitations in specific tasks.This research not only provides the financial large language models with a practical evaluation tool but also guides the development and optimization of future research. The source code for Golden Touchstone and model weight of Touchstone-GPT have been made publicly available at https://github.com/IDEA-FinAI/Golden-Touchstone, contributing to the ongoing evolution of FinLLMs and fostering further research in this critical area.