OmniEval: Ein omnidirektionaler und automatischer RAG-Evaluierungsbenchmark im Finanzbereich

OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain

December 17, 2024

Autoren: Shuting Wang, Jiejun Tan, Zhicheng Dou, Ji-Rong Wen

cs.AI

Zusammenfassung

Als typische und praktische Anwendung von Large Language Models (LLMs) haben Retrieval-Augmented Generation (RAG)-Techniken umfangreiche Aufmerksamkeit erlangt, insbesondere in vertikalen Domänen, in denen LLMs möglicherweise über kein domänenspezifisches Wissen verfügen. In diesem Papier stellen wir einen omnidirektionalen und automatischen RAG-Benchmark, OmniEval, im Finanzbereich vor. Unser Benchmark zeichnet sich durch sein multidimensionales Bewertungsrahmenwerk aus, das (1) ein matrixbasiertes RAG-Szenariobewertungssystem umfasst, das Anfragen in fünf Aufgabenklassen und 16 Finanzthemen kategorisiert, was zu einer strukturierten Bewertung verschiedener Anfrageszenarien führt; (2) einen multidimensionalen Bewertungsdatengenerierungsansatz, der auf automatischer Generierung basierend auf GPT-4 und menschlicher Annotation kombiniert, wodurch ein Akzeptanzverhältnis von 87,47\% in menschlichen Bewertungen von generierten Instanzen erreicht wird; (3) ein mehrstufiges Bewertungssystem, das sowohl die Leistung bei der Rückgewinnung als auch bei der Generierung bewertet, was zu einer umfassenden Bewertung des RAG-Pipelines führt; und (4) robuste Bewertungsmetriken, die aus regelbasierten und LLM-basierten abgeleitet sind, wodurch die Zuverlässigkeit von Bewertungen durch manuelle Annotationen und überwachtes Feintuning eines LLM-Bewerters verbessert wird. Unsere Experimente zeigen die Umfassendheit von OmniEval auf, die umfangreiche Testdatensätze umfasst und die Leistungsunterschiede von RAG-Systemen über verschiedene Themen und Aufgaben hinweg hervorhebt, wodurch signifikante Möglichkeiten für RAG-Modelle aufgezeigt werden, ihre Fähigkeiten in vertikalen Domänen zu verbessern. Wir stellen den Code unseres Benchmarks als Open Source unter https://github.com/RUC-NLPIR/OmniEval zur Verfügung.

English

As a typical and practical application of Large Language Models (LLMs), Retrieval-Augmented Generation (RAG) techniques have gained extensive attention, particularly in vertical domains where LLMs may lack domain-specific knowledge. In this paper, we introduce an omnidirectional and automatic RAG benchmark, OmniEval, in the financial domain. Our benchmark is characterized by its multi-dimensional evaluation framework, including (1) a matrix-based RAG scenario evaluation system that categorizes queries into five task classes and 16 financial topics, leading to a structured assessment of diverse query scenarios; (2) a multi-dimensional evaluation data generation approach, which combines GPT-4-based automatic generation and human annotation, achieving an 87.47\% acceptance ratio in human evaluations on generated instances; (3) a multi-stage evaluation system that evaluates both retrieval and generation performance, result in a comprehensive evaluation on the RAG pipeline; and (4) robust evaluation metrics derived from rule-based and LLM-based ones, enhancing the reliability of assessments through manual annotations and supervised fine-tuning of an LLM evaluator. Our experiments demonstrate the comprehensiveness of OmniEval, which includes extensive test datasets and highlights the performance variations of RAG systems across diverse topics and tasks, revealing significant opportunities for RAG models to improve their capabilities in vertical domains. We open source the code of our benchmark in https://github.com/RUC-NLPIR/OmniEval{https://github.com/RUC-NLPIR/OmniEval}.