OmniEval: Een omnidirectionele en automatische RAG-evaluatiebenchmark in de financiële sector

OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain

December 17, 2024

Auteurs: Shuting Wang, Jiejun Tan, Zhicheng Dou, Ji-Rong Wen

cs.AI

Samenvatting

Als een typische en praktische toepassing van Grote Taalmodellen (GTM's) hebben Retrieval-Augmented Generation (RAG) technieken uitgebreide aandacht gekregen, vooral in verticale domeinen waar GTM's mogelijk geen domeinspecifieke kennis hebben. In dit artikel introduceren we een omnidirectionele en automatische RAG benchmark, OmniEval, in het financiële domein. Onze benchmark wordt gekenmerkt door zijn multidimensionale evaluatiekader, waaronder (1) een op matrices gebaseerd RAG scenario evaluatiesysteem dat zoekopdrachten in vijf taakklassen en 16 financiële onderwerpen categoriseert, wat leidt tot een gestructureerde beoordeling van diverse queryscenario's; (2) een multidimensionale evaluatiedatageneratiebenadering, die GPT-4-gebaseerde automatische generatie en menselijke annotatie combineert, met een acceptatieratio van 87,47% in menselijke evaluaties van gegenereerde instanties; (3) een meertraps evaluatiesysteem dat zowel de ophaal- als generatieprestaties evalueert, wat resulteert in een uitgebreide evaluatie van de RAG-pijplijn; en (4) robuuste evaluatiemetrics afgeleid van op regels gebaseerde en GTM-gebaseerde metrics, die de betrouwbaarheid van beoordelingen verbeteren door middel van handmatige annotaties en begeleid finetunen van een GTM-beoordelaar. Onze experimenten tonen de alomvattendheid van OmniEval aan, met uitgebreide testdatasets en benadrukken de prestatievariaties van RAG-systemen over diverse onderwerpen en taken, waarbij significante mogelijkheden worden onthuld voor RAG-modellen om hun capaciteiten in verticale domeinen te verbeteren. We stellen de code van onze benchmark open source beschikbaar op https://github.com/RUC-NLPIR/OmniEval{https://github.com/RUC-NLPIR/OmniEval}.

English

As a typical and practical application of Large Language Models (LLMs), Retrieval-Augmented Generation (RAG) techniques have gained extensive attention, particularly in vertical domains where LLMs may lack domain-specific knowledge. In this paper, we introduce an omnidirectional and automatic RAG benchmark, OmniEval, in the financial domain. Our benchmark is characterized by its multi-dimensional evaluation framework, including (1) a matrix-based RAG scenario evaluation system that categorizes queries into five task classes and 16 financial topics, leading to a structured assessment of diverse query scenarios; (2) a multi-dimensional evaluation data generation approach, which combines GPT-4-based automatic generation and human annotation, achieving an 87.47\% acceptance ratio in human evaluations on generated instances; (3) a multi-stage evaluation system that evaluates both retrieval and generation performance, result in a comprehensive evaluation on the RAG pipeline; and (4) robust evaluation metrics derived from rule-based and LLM-based ones, enhancing the reliability of assessments through manual annotations and supervised fine-tuning of an LLM evaluator. Our experiments demonstrate the comprehensiveness of OmniEval, which includes extensive test datasets and highlights the performance variations of RAG systems across diverse topics and tasks, revealing significant opportunities for RAG models to improve their capabilities in vertical domains. We open source the code of our benchmark in https://github.com/RUC-NLPIR/OmniEval{https://github.com/RUC-NLPIR/OmniEval}.