OmniEval: Омнидирекциональная и автоматическая оценочная база данных RAG в финансовой сфере

OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain

December 17, 2024

Авторы: Shuting Wang, Jiejun Tan, Zhicheng Dou, Ji-Rong Wen

cs.AI

Аннотация

Как типичное и практическое применение больших языковых моделей (LLM), методы Генерации с Поисковым Дополнением (RAG) получили широкое внимание, особенно в вертикальных областях, где LLM может не иметь специфических для области знаний. В данной статье мы представляем всеобъемлющий и автоматический бенчмарк RAG, OmniEval, в финансовой области. Наш бенчмарк характеризуется многомерной системой оценки, включающей (1) систему оценки сценариев RAG на основе матриц, которая классифицирует запросы на пять классов задач и 16 финансовых тем, что позволяет структурированно оценить разнообразные сценарии запросов; (2) многомерный подход к генерации данных для оценки, который объединяет автоматическую генерацию на основе GPT-4 и аннотацию человека, достигая коэффициента принятия на уровне 87,47\% в человеческих оценках сгенерированных экземпляров; (3) многоступенчатую систему оценки, которая оценивает как производительность поиска, так и генерации, обеспечивая всестороннюю оценку конвейера RAG; и (4) надежные метрики оценки, происходящие как из правил, так и из LLM, улучшая надежность оценок через ручные аннотации и надзорное дообучение оценщика LLM. Наши эксперименты демонстрируют всесторонность OmniEval, включающую обширные тестовые наборы данных и выявляющую различия в производительности систем RAG по разным темам и задачам, раскрывая значительные возможности для моделей RAG в улучшении своих возможностей в вертикальных областях. Мы открыто предоставляем код нашего бенчмарка по ссылке https://github.com/RUC-NLPIR/OmniEval.

English

As a typical and practical application of Large Language Models (LLMs), Retrieval-Augmented Generation (RAG) techniques have gained extensive attention, particularly in vertical domains where LLMs may lack domain-specific knowledge. In this paper, we introduce an omnidirectional and automatic RAG benchmark, OmniEval, in the financial domain. Our benchmark is characterized by its multi-dimensional evaluation framework, including (1) a matrix-based RAG scenario evaluation system that categorizes queries into five task classes and 16 financial topics, leading to a structured assessment of diverse query scenarios; (2) a multi-dimensional evaluation data generation approach, which combines GPT-4-based automatic generation and human annotation, achieving an 87.47\% acceptance ratio in human evaluations on generated instances; (3) a multi-stage evaluation system that evaluates both retrieval and generation performance, result in a comprehensive evaluation on the RAG pipeline; and (4) robust evaluation metrics derived from rule-based and LLM-based ones, enhancing the reliability of assessments through manual annotations and supervised fine-tuning of an LLM evaluator. Our experiments demonstrate the comprehensiveness of OmniEval, which includes extensive test datasets and highlights the performance variations of RAG systems across diverse topics and tasks, revealing significant opportunities for RAG models to improve their capabilities in vertical domains. We open source the code of our benchmark in https://github.com/RUC-NLPIR/OmniEval{https://github.com/RUC-NLPIR/OmniEval}.