OmniEval : Un banc d'évaluation RAG omnidirectionnel et automatique dans le domaine financier

OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain

December 17, 2024

Auteurs: Shuting Wang, Jiejun Tan, Zhicheng Dou, Ji-Rong Wen

cs.AI

Résumé

En tant qu'application typique et pratique des Modèles de Langage de Grande Taille (LLMs), les techniques de Génération Augmentée par Récupération (RAG) ont suscité une attention considérable, notamment dans les domaines verticaux où les LLMs peuvent manquer de connaissances spécifiques au domaine. Dans cet article, nous présentons un banc d'essai RAG omnidirectionnel et automatique, OmniEval, dans le domaine financier. Notre banc d'essai se caractérise par son cadre d'évaluation multidimensionnel, comprenant (1) un système d'évaluation de scénarios RAG basé sur des matrices qui catégorise les requêtes en cinq classes de tâches et 16 sujets financiers, permettant une évaluation structurée de divers scénarios de requêtes ; (2) une approche de génération de données d'évaluation multidimensionnelle, combinant la génération automatique basée sur GPT-4 et l'annotation humaine, atteignant un taux d'acceptation de 87,47\% dans les évaluations humaines sur les instances générées ; (3) un système d'évaluation multi-étapes évaluant à la fois la performance de la récupération et de la génération, aboutissant à une évaluation complète du pipeline RAG ; et (4) des métriques d'évaluation robustes dérivées de règles et basées sur des LLMs, améliorant la fiabilité des évaluations grâce à des annotations manuelles et un ajustement supervisé d'un évaluateur LLM. Nos expériences démontrent l'exhaustivité d'OmniEval, qui comprend des ensembles de données de test étendus et met en évidence les variations de performance des systèmes RAG sur des sujets et des tâches divers, révélant des opportunités significatives pour les modèles RAG d'améliorer leurs capacités dans les domaines verticaux. Nous mettons le code de notre banc d'essai en open source sur https://github.com/RUC-NLPIR/OmniEval{https://github.com/RUC-NLPIR/OmniEval}.

English

As a typical and practical application of Large Language Models (LLMs), Retrieval-Augmented Generation (RAG) techniques have gained extensive attention, particularly in vertical domains where LLMs may lack domain-specific knowledge. In this paper, we introduce an omnidirectional and automatic RAG benchmark, OmniEval, in the financial domain. Our benchmark is characterized by its multi-dimensional evaluation framework, including (1) a matrix-based RAG scenario evaluation system that categorizes queries into five task classes and 16 financial topics, leading to a structured assessment of diverse query scenarios; (2) a multi-dimensional evaluation data generation approach, which combines GPT-4-based automatic generation and human annotation, achieving an 87.47\% acceptance ratio in human evaluations on generated instances; (3) a multi-stage evaluation system that evaluates both retrieval and generation performance, result in a comprehensive evaluation on the RAG pipeline; and (4) robust evaluation metrics derived from rule-based and LLM-based ones, enhancing the reliability of assessments through manual annotations and supervised fine-tuning of an LLM evaluator. Our experiments demonstrate the comprehensiveness of OmniEval, which includes extensive test datasets and highlights the performance variations of RAG systems across diverse topics and tasks, revealing significant opportunities for RAG models to improve their capabilities in vertical domains. We open source the code of our benchmark in https://github.com/RUC-NLPIR/OmniEval{https://github.com/RUC-NLPIR/OmniEval}.